OpenAI GPT-6 Astra hiện hỗ trợ chế độ UltraFast trên Amazon Bedrock
Hôm nay, AWS thông báo việc cung cấp chế độ UltraFast cho GPT-6 Astra từ OpenAI trên Amazon Bedrock. Ultrafast là một bậc tốc độ cao cấp cho GPT-6 Astra được xây dựng cho khối lượng công việc mà tốc độ là quan trọng nhất. Theo OpenAI, Ultrafast cung cấp khả năng suy luận nhanh hơn tới 6 lần trong API, với tối đa 300 mã thông báo mỗi giây. Công cụ suy luận Amazon Bedrock cung cấp hiệu năng, bảo mật và độ tin cậy cần thiết cho khối lượng công việc sản xuất.
Sử dụng GPT-6 Astra Ultrafast cho các ứng dụng nhạy cảm với độ trễ như trợ lý lập trình theo thời gian thực, tác tử tương tác và trải nghiệm dành cho khách hàng đòi hỏi phản hồi nhanh, chất lượng cao. Các biện pháp kiểm soát AWS đã được thiết lập giúp bạn bảo mật khối lượng công việc, quản trị quyền truy cập và kiểm tra hoạt động gọi mô hình.
Bạn có thể bắt đầu trong bảng điều khiển Amazon Bedrock hoặc bằng cách lập trình thông qua các API Amazon Bedrock được hỗ trợ. Để biết thông tin về các Khu vực AWS được hỗ trợ, điểm cuối, API, tính năng, hồ sơ suy luận và mức giá, hãy xem tài liệu về Amazon Bedrock.