Tác tử, Luồng và Cơ sở kiến thức dành cho Amazon Bedrock hiện đã hỗ trợ mô hình tối ưu hóa độ trễ

Ngày đăng: 23 Th12 2024

Tác tử, Luồng và Cơ sở kiến thức dành cho Amazon Bedrock hiện đã hỗ trợ các mô hình được tối ưu hóa độ trễ, đang trong giai đoạn dùng thử và vừa được công bố thông qua SDK. Điểm cải tiến này giúp các ứng dụng AI được xây dựng bằng Công cụ Amazon Bedrock có khả năng phản hồi nhanh hơn và hiệu quả hơn. Hiện tại, phương thức tối ưu hóa này có sẵn cho mô hình Claude 3.5 Haiku của Anthropic cũng như các mô hình Llama 3.1 405B và 70B của Meta, giúp giảm độ trễ so với mô hình chuẩn mà không ảnh hưởng đến độ chính xác.

Bản cập nhật này đặc biệt hữu ích cho những khách hàng đang phát triển ứng dụng yêu cầu độ trễ thấp như chatbot dịch vụ khách hàng thời gian thực và trợ lý mã hóa tương tác. Với chip AI chuyên dụng như AWS Trainium2 và các tùy chọn tối ưu hóa phần mềm nâng cao trong Amazon Bedrock, giờ đây khách hàng có thể truy cập nhiều tùy chọn khác để tối ưu hóa suy luận sao cho phù hợp với trường hợp sử dụng cụ thể. Đặc biệt, bạn có thể tích hợp ngay các tính năng này vào ứng dụng có sẵn mà không cần thiết lập thêm hoặc tinh chỉnh mô hình, giúp nâng cao hiệu suất và cải thiện thời gian phản hồi.

Chúng tôi đang hỗ trợ khả năng suy luận được tối ưu hóa độ trễ cho Tác tử, Luồng và Cơ sở kiến thức dành cho Amazon Bedrock ở Khu vực Miền Đông Hoa Kỳ (Ohio) thông qua tính năng suy luận liên khu vực. Khách hàng có thể truy cập các tính năng mới này qua Amazon Bedrock SDK thông qua cấu hình thời gian hoạt động, để kết hợp các mô hình được tối ưu hóa này vào quy trình làm việc và ứng dụng theo lập trình.

Để tìm hiểu thêm về Amazon Bedrock và các tính năng, bao gồm tính năng hỗ trợ suy luận được tối ưu hóa độ trễ mới này, hãy truy cập trang sản phẩm, trang giátài liệu về Amazon Bedrock.