Tính năng suy luận hàng loạt của Amazon Bedrock hiện đã hỗ trợ định dạng API Converse
Tính năng suy luận hàng loạt của Amazon Bedrock hiện đã hỗ trợ định dạng API Converse dưới dạng loại gọi mô hình, giúp bạn sử dụng định dạng đầu vào nhất quán, không phụ thuộc vào mô hình cho khối lượng công việc hàng loạt của mình.
Trước đây, tính năng suy luận hàng loạt đòi hỏi phải sử dụng định dạng yêu cầu dành riêng cho mô hình bằng cách sử dụng API InvokeModel. Giờ đây, khi tạo công việc suy luận hàng loạt, bạn có thể chọn Converse làm loại gọi mô hình và cấu trúc dữ liệu đầu vào bằng định dạng yêu cầu API Converse tiêu chuẩn. Đầu ra cho các công việc hàng loạt Converse tuân theo định dạng phản hồi của API Converse. Với tính năng này, bạn sẽ có thể sử dụng cùng một định dạng yêu cầu thống nhất cho cả suy luận theo thời gian thực và suy luận hàng loạt, giúp đơn giản hóa khâu quản lý câu lệnh và giảm nỗ lực cần thiết để chuyển đổi giữa các mô hình. Bạn có thể cấu hình loại gọi mô hình Converse thông qua cả bảng điều khiển và API Amazon Bedrock.
Khả năng này được cung cấp ở tất cả các Khu vực AWS hỗ trợ tính năng suy luận hàng loạt của Amazon Bedrock. Để bắt đầu sử dụng, hãy tham khảo Tạo công việc suy luận hàng loạt và Định dạng và tải lên dữ liệu suy luận hàng loạt của bạn trong Hướng dẫn sử dụng Amazon Bedrock.