Amazon Bedrock cung cấp một số FM để suy luận hàng loạt với mức giá bằng 50% giá suy luận theo nhu cầu
Năm ngoái, chúng tôi đã ra mắt tính năng hỗ trợ suy luận hàng loạt ở chế độ xem trước, giúp bạn xử lý hàng loạt câu lệnh để nhận phản hồi đánh giá mô hình, thử nghiệm và xử lý ngoại tuyến. Kể từ hôm nay, Amazon Bedrock sẽ hỗ trợ rộng rãi tính năng suy luận hàng loạt cho các mô hình được hỗ trợ ở tất cả các khu vực AWS được hỗ trợ. Sử dụng tính năng suy luận hàng loạt để chạy nhiều yêu cầu suy luận không đồng bộ và tăng hiệu suất suy luận mô hình trên các tập dữ liệu lớn. Amazon Bedrock cung cấp một số mô hình nền tảng (FM) từ những nhà cung cấp AI hàng đầu như Anthropic, Meta, Mistral AI và Amazon để suy luận hàng loạt với mức giá bằng 50% giá suy luận theo nhu cầu. Thời gian hoàn thành suy luận hàng loạt phụ thuộc vào các yếu tố khác nhau như quy mô công việc, nhưng theo dự kiến, khung thời gian hoàn thành một công việc thông thường là trong vòng 24 giờ. Bạn có thể tìm hiểu thêm trong tài liệu về tính năng suy luận hàng loạt của chúng tôi. Ngoài ra, bạn cũng có thể đọc thêm tài liệu tham khảo về API do chúng tôi cung cấp.
Amazon Bedrock là dịch vụ được quản lý toàn phần cho phép lựa chọn mô hình nền tảng (FM) hiệu năng cao từ các công ty AI hàng đầu như AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, cũng như Amazon thông qua một API duy nhất. Amazon Bedrock cũng cung cấp một loạt chức năng cần thiết để khách hàng xây dựng ứng dụng AI tạo sinh, tích hợp sẵn khả năng bảo mật, tính riêng tư và AI có trách nhiệm. Những chức năng này giúp bạn xây dựng ứng dụng phù hợp cho loạt trường hợp sử dụng trong các ngành khác nhau, giúp các tổ chức mở ra khả năng phát triển bền vững từ AI tạo sinh, đồng thời đảm bảo niềm tin của khách hàng và khả năng quản trị dữ liệu.
Để biết thêm thông tin về Amazon Bedrock, hãy truy cập trang Amazon Bedrock và xem tài liệu về Amazon Bedrock.