Amazon Bedrock hiện đã hỗ trợ API Responses từ OpenAI
Amazon Bedrock hiện đã hỗ trợ API Responses trên các điểm cuối dịch vụ tương thích với API OpenAI mới. API Responses cho phép các nhà phát triển thực hiện suy luận không đồng bộ cho khối lượng công việc suy luận có thời gian hoạt động dài, giúp đơn giản hóa việc tích hợp sử dụng công cụ cho quy trình công việc tác tử cũng như hỗ trợ quản lý hội thoại theo trạng thái. Thay vì yêu cầu nhà phát triển chuyển toàn bộ lịch sử hội thoại với mỗi yêu cầu, API Responses cho phép họ tự động xây dựng lại ngữ cảnh mà không cần quản lý lịch sử theo cách thủ công. Các điểm cuối dịch vụ mới này hỗ trợ cả chế độ truyền dưới dạng luồng lẫn truyền không dưới dạng luồng, cho phép hỗ trợ nỗ lực lập luận trong API Chat Completions và chỉ yêu cầu thay đổi URL cơ sở để các nhà phát triển tích hợp trong cơ sở mã hiện có với khả năng tương thích SDK OpenAI.
Chat Completions có tính năng hỗ trợ nỗ lực lập luận được cung cấp cho tất cả các mô hình Amazon Bedrock có sự hỗ trợ của Project Mantle, một công cụ suy luận phân tán mới cho mô hình máy học quy mô lớn phân phối trên Amazon Bedrock. Project Mantle giúp đơn giản hóa và xúc tiến việc đưa các mô hình mới vào Amazon Bedrock, cung cấp tính năng suy luận phi máy chủ hiệu năng cao và đáng tin cậy với nhiều biện pháp kiểm soát chất lượng dịch vụ tinh vi, mở khóa hạn mức khách hàng mặc định cao hơn với khả năng quản lý công suất tự động và nhóm hợp nhất, đồng thời, cung cấp khả năng tương thích theo mặc định với các thông số kỹ thuật của API OpenAI. API Responses hiện đã được hỗ trợ từ hôm nay, bắt đầu với các mô hình GPT OSS 20B/120B của OpenAI và sẽ sớm hỗ trợ thêm cho các mô hình khác.
Để bắt đầu, hãy tham khảo tài liệu về dịch vụ tại đây