Amazon Bedrock hiện hỗ trợ suy luận hàng loạt cho các mô hình Anthropic Claude Sonnet 4 và OpenAI GPT-OSS
Claude Sonnet 4 của Anthropic và các mô hình GPT-OSS 120B và 20B của OpenAI hiện được cung cấp để suy luận hàng loạt trong Amazon Bedrock. Với suy luận hàng loạt, bạn có thể chạy nhiều yêu cầu suy luận không đồng bộ, cải thiện hiệu năng trên các tập dữ liệu lớn ở mức giá bằng 50% giá suy luận theo yêu cầu. Amazon Bedrock cung cấp các mô hình nền tảng (FM) được chọn lọc từ các nhà cung cấp AI hàng đầu như Anthropic, OpenAI, Meta và Amazon để suy luận hàng loạt, giúp xử lý khối lượng công việc khối lượng lớn dễ dàng hơn và tiết kiệm chi phí hơn.
Với suy luận hàng loạt trên mô hình Claude Sonnet 4 và OpenAI GPT-OSS, bạn có thể xử lý tập dữ liệu lớn cho các trường hợp như phân tích tài liệu và phản hồi của khách hàng, tạo nội dung hàng loạt (ví dụ: bản sao tiếp thị, mô tả sản phẩm), đánh giá câu lệnh hoặc đầu ra quy mô lớn, tóm tắt tự động cơ sở kiến thức và kho lưu trữ, phân loại hàng loạt phiếu yêu cầu hỗ trợ hoặc email và trích xuất dữ liệu có cấu trúc từ văn bản phi cấu trúc - ở quy mô lớn và với chi phí thấp hơn. Chúng tôi đã tối ưu hoá dịch vụ Batch để cung cấp thông lượng hàng loạt tổng thể cao hơn trên các mô hình mới hơn so với các mô hình trước đó. Ngoài ra, giờ đây bạn có thể theo dõi tiến trình khối lượng công việc Batch của mình ở cấp tài khoản AWS với chỉ số Amazon CloudWatch. Đối với tất cả các mô hình, các chỉ số này bao gồm tổng số bản ghi đang chờ xử lý, số bản ghi đã xử lý và số mã thông báo mỗi phút và đối với các mô hình Claude. Chúng cũng bao gồm các mã thông báo đang chờ xử lý.
Để tìm hiểu thêm về suy luận hàng loạt trong Amazon Bedrock, hãy truy cập tài liệu về suy luận hàng loạt. Bạn có thể truy cập trang Khu vực được hỗ trợ và mô hình cho suy luận hàng loạt để biết thêm chi tiết về các mô hình được hỗ trợ và làm theo tài liệu tham khảo về API Amazon Bedrock để bắt đầu sử dụng suy luận hàng loạt.