Amazon Bedrock mở rộng hỗ trợ cho Hạn mức dịch vụ
Amazon Bedrock là dịch vụ được quản lý đầy đủ cung cấp quyền truy cập an toàn ở cấp doanh nghiệp vào các mô hình nền tảng hiệu năng cao từ các công ty AI hàng đầu, cho phép bạn xây dựng và điều chỉnh quy mô các ứng dụng AI tạo sinh. Khách hàng của Amazon Bedrock giờ đây có thể xem hạn mức suy luận cho điểm cuối bedrock-mantle thông qua Hạn mức dịch vụ AWS. Điều này giúp khách hàng theo dõi giới hạn của điểm cuối này một cách quen thuộc, nhất quán, tương tự như cách đã thực hiện đối với điểm cuối bedrock-runtime và các dịch vụ AWS khác, đồng thời giúp họ thấy rõ các giới hạn áp dụng cho khối lượng công việc của mình.
Điểm cuối bedrock-mantle hỗ trợ API Responses của OpenAI, API Chat Completions của OpenAI và API Messages của Anthropic, cho phép khách hàng chạy các ứng dụng hiện có dựa trên OpenAI hoặc Anthropic trên Amazon Bedrock với thay đổi mã ở mức tối thiểu. Hạn mức dịch vụ AWS giờ đây hiển thị các hạn mức input-tokens-per-minute và output-tokens-per-minute theo từng mô hình cho các mô hình được hỗ trợ trên điểm cuối bedrock-mantle.
Với lần ra mắt này, khách hàng sẽ thấy mức độ giới hạn của mình trên điểm cuối bedrock-mantle và có thể chủ động lập kế hoạch cho quy mô sản xuất. Để bắt đầu, hãy mở bảng điều khiển Hạn mức dịch vụ AWS, chọn Amazon Bedrock và tìm kiếm “Bedrock Mantle” để xem hạn mức hiện tại của bạn. Để yêu cầu tăng bất kỳ hạn mức nào trong số này, hãy làm theo quy trình tăng giới hạn Amazon Bedrock tiêu chuẩn. Hỗ trợ Hạn mức dịch vụ cho điểm cuối bedrock-mantle có sẵn ở tất cả các Khu vực AWS cung cấp điểm cuối này: Miền Đông Hoa Kỳ (Bắc Virginia, Ohio), Miền Tây Hoa Kỳ (Oregon), Châu Á Thái Bình Dương (Mumbai, Tokyo, Sydney, Jakarta), Châu Âu (Frankfurt, Ireland, London, Milan, Stockholm) và Nam Mỹ (São Paulo). Để tìm hiểu thêm, hãy xem Hạn mức cho Amazon Bedrock.