Tính năng Định tuyến câu lệnh thông minh của Amazon Bedrock hiện đang được cung cấp ở chế độ dùng thử
Định tuyến câu lệnh thông minh của Amazon Bedrock sẽ định tuyến câu lệnh đến các mô hình nền tảng khác nhau trong một dòng mô hình, giúp bạn tối ưu hóa chất lượng phản hồi và chi phí. Sử dụng các kỹ thuật khớp câu lệnh và hiểu mô hình tiên tiến, Định tuyến câu lệnh thông minh dự đoán hiệu năng của từng mô hình cho từng yêu cầu và tự động định tuyến từng yêu cầu đến mô hình mà nó dự đoán có nhiều khả năng đưa ra phản hồi như mong muốn nhất với chi phí thấp nhất. Khách hàng có thể chọn từ 2 bộ định tuyến câu lệnh đang ở chế độ dùng thử để định tuyến các yêu cầu giữa Claude Sonnet 3.5 và Claude Haiku, hoặc giữa Llama 3.1 8B và Llama 3.1 70B.
Amazon Bedrock là dịch vụ được quản lý toàn phần cho phép lựa chọn các mô hình nền tảng hiệu năng cao từ các công ty AI hàng đầu qua một API duy nhất. Amazon Bedrock cũng cung cấp một loạt chức năng cần thiết để khách hàng xây dựng ứng dụng AI tạo sinh, tích hợp sẵn khả năng bảo mật, tính riêng tư và những chức năng AI có trách nhiệm. Những chức năng này giúp bạn xây dựng ứng dụng phù hợp cho loạt trường hợp sử dụng trong các ngành khác nhau, giúp các tổ chức mở ra khả năng phát triển bền vững từ AI tạo sinh, đồng thời đảm bảo niềm tin của khách hàng và khả năng quản trị dữ liệu. Với tính năng Định tuyến câu lệnh thông minh, Amazon Bedrock có thể giúp khách hàng xây dựng ứng dụng AI tạo sinh có chi phí thấp bằng cách kết hợp các mô hình nền tảng để tăng hiệu năng và giảm chi phí so với khi sử dụng một mô hình nền tảng.
Trong giai đoạn dùng thử, khách hàng được tính phí với mức giá theo nhu cầu thông thường dành cho mô hình mà yêu cầu được định tuyến đến. Tìm hiểu thêm trong tài liệu và blog của chúng tôi.