Định tuyến câu lệnh thông minh trong Amazon Bedrock
Tổng quan
Định tuyến câu lệnh thông minh của Amazon Bedrock sẽ định tuyến câu lệnh đến các mô hình nền tảng khác nhau trong một dòng mô hình, giúp bạn tối ưu hóa chất lượng phản hồi và chi phí. Định tuyến câu lệnh thông minh có thể giảm chi phí lên đến 30% mà không ảnh hưởng đến độ chính xác.
Tối đa hóa hiệu năng với chi phí thấp hơn
Các nhà phát triển có thể gặp thách thức trong việc hiểu truy vấn nào yêu cầu các mô hình tiên tiến hơn hoặc truy vấn nào có thể hoạt động với các mô hình nhỏ hơn, nhanh hơn và rẻ hơn. Sử dụng các kỹ thuật khớp câu lệnh và hiểu mô hình tiên tiến, Định tuyến câu lệnh thông minh dự đoán hiệu năng của từng mô hình cho từng yêu cầu và tự động định tuyến từng yêu cầu đến mô hình mà nó dự đoán có nhiều khả năng đưa ra phản hồi như mong muốn nhất với chi phí thấp nhất. Bạn có thể chọn từ hai trình định tuyến câu lệnh trong bản xem trước mà có thể định tuyến yêu cầu giữa Claude Sonnet 3.5 và Claude Haiku, hoặc giữa Llama 3.1 7B và Llama 3.1 80B.

Tiết kiệm công sức khi bạn phát triển
Để đạt được hiệu năng và chi phí mong muốn cho các ứng dụng của mình, bạn phải thường xuyên phát triển các quy trình công việc điều phối phức tạp, định tuyến từng yêu cầu đến mô hình phù hợp nhất với yêu cầu đó dựa trên kinh nghiệm của bạn để đạt được hiệu suất mong muốn về độ chính xác. Với Định tuyến câu lệnh thông minh, bạn có thể tiết kiệm hàng tháng nỗ lực để kiểm thử các mô hình khác nhau và tạo quy trình công việc điều phối phức tạp.

Dễ dàng gỡ lỗi với các yêu cầu có thể truy nguyên hoàn toàn
Mỗi yêu cầu hoàn toàn có thể truy nguyên, cho phép bạn xác định mô hình nào xử lý từng yêu cầu và cho phép bạn dễ dàng hiểu và gỡ lỗi bất kỳ vấn đề nào.

Lưu ý về định giá
Trong quá trình xem trước, khách hàng được tính phí với mức giá theo nhu cầu của các mô hình mà các yêu cầu được định tuyến đến. Xem trang giá của chúng tôi để biết định giá chi tiết cho các nhà cung cấp mô hình khác nhau.
