Amazon Bedrock mở rộng hỗ trợ API và giới thiệu Suy luận xuyên Khu vực cho các mô hình OpenAI
Amazon Bedrock hiện hỗ trợ các mô hình OpenAI GPT-5.6 (Sol, Terra và Luna) trên điểm cuối bedrock-runtime, với hỗ trợ cho các API Responses, Converse và Chat Completions. Dịch vụ này cũng bổ sung hỗ trợ cho suy luận xuyên Khu vực, cho phép khách hàng sử dụng suy luận xuyên Khu vực Toàn cầu và xuyên Khu vực Địa lý để truy cập thông lượng cao hơn và chi phí suy luận thấp hơn.
Suy luận xuyên Khu vực sẽ tự động định tuyến các yêu cầu suy luận qua nhiều Khu vực AWS để cung cấp cho bạn thông lượng cao hơn mà không cần quản lý dung lượng trên nhiều Khu vực. Suy luận xuyên Khu vực Địa lý sẽ định tuyến các yêu cầu trong phạm vi một khu vực địa lý được xác định trước – bao gồm hỗ trợ US Geo (US CRIS) mới với lần ra mắt này – để bạn có thể điều chỉnh quy mô trong khi vẫn giữ dữ liệu được xử lý trong khu vực địa lý đó. Trong khi đó, Suy luận xuyên Khu vực Toàn cầu phục vụ các yêu cầu từ bất kỳ Khu vực AWS thương mại nào có sẵn mô hình, cho phép bạn truy cập rộng nhất vào dung lượng Bedrock và thông lượng cao nhất trong thời gian nhu cầu tăng đột biến. Với Ssuy luận xuyên Khu vực Toàn cầu, bạn cũng có được chi phí thấp hơn vì suy luận Toàn cầu có giá thấp hơn cho mỗi token đối với các mô hình OpenAI so với suy luận trong Khu vực và suy luận Địa lý. Lần ra mắt này cũng mở rộng hỗ trợ API – bạn cũng có thể sử dụng các mô hình OpenAI GPT với API Responses, API Chat Completions và API Converse trên điểm cuối bedrock-runtime. Do các API OpenAI gốc này hiện chạy trên bedrock-runtime, các mô hình hoạt động với cùng một điều khiển cấp tài khoản mà bạn đã sử dụng cho các mô hình khác trên Bedrock: mức sử dụng xuất hiện trong nhật ký gọi mô hình Bedrock (có thể phân phối cho Amazon S3 hoặc Amazon CloudWatch Logs) và trong các số liệu Amazon CloudWatch bao gồm số lượng gọi, số token, độ trễ, điều chỉnh và lỗi, và nó được chia thành từng mục trong AWS Cost Explorer và Báo cáo chi phí và sử dụng AWS để bạn có thể phân loại chi tiêu theo mô hình.
Suy luận xuyên Khu vực cho các mô hình OpenAI có sẵn ở tất cả các Khu vực AWS có cung cấp các mô hình OpenAI trên Amazon Bedrock. Để bắt đầu, hãy xem lại thẻ mô hình cho GPT 5.6 (Sol, Tera và Luna) trong Hướng dẫn sử dụng Amazon Bedrock.