Tối ưu hóa câu lệnh nâng cao của Amazon Bedrock hiện hỗ trợ rút ngắn câu lệnh
Tối ưu hóa câu lệnh nâng cao của Amazon Bedrock hiện hỗ trợ rút ngắn câu lệnh, một cài đặt tùy chọn giúp giảm độ dài câu lệnh của bạn trong khi vẫn duy trì hoặc cải thiện điểm đánh giá. Tối ưu hóa câu lệnh nâng cao tối ưu hóa câu lệnh cho bất kỳ mô hình nào trên Amazon Bedrock dựa trên các tiêu chí đánh giá của riêng bạn. Cho đến nay, việc tối ưu hóa chỉ tập trung vào chất lượng. Câu lệnh được tối ưu hóa thường dài hơn bản gốc. Câu lệnh dài hơn làm tăng chi phí mã thông báo đầu vào và có thể tăng thời gian đến mã thông báo đầu tiên, điều này quan trọng trên quy mô lớn và trong các ứng dụng đòi hỏi cao về độ trễ.
Khi bạn bật tính năng rút ngắn câu lệnh cho mẫu câu lệnh trong tập dữ liệu đầu vào của mình, trình tối ưu hóa sẽ giảm độ dài của câu lệnh. Câu lệnh được tối ưu hóa chỉ được trả về khi ngắn hơn câu lệnh ban đầu của bạn và đạt điểm ít nhất bằng mức cao nhất trong đánh giá của bạn. Nếu không, câu lệnh ban đầu của bạn sẽ được trả về, vì vậy cài đặt này không bao giờ để lại cho bạn câu lệnh dài hơn hoặc có điểm thấp hơn. Kết quả bao gồm tỷ lệ nén và số lượng mã thông báo gốc và được tối ưu hóa, trong tệp đầu ra và trên trang kết quả bảng điều khiển. Ví dụ: tỷ lệ nén 0,7 có nghĩa là câu lệnh được tối ưu hóa sử dụng ít hơn 30% mã thông báo. Rút ngắn câu lệnh hoạt động với bất kỳ phương pháp đánh giá nào, bao gồm tiêu chí định hướng, tiêu chí đánh giá LLM-as-a-judge và các trình đánh giá Lambda tùy chỉnh.
Tính năng rút ngắn câu lệnh được cung cấp ở tất cả các Khu vực AWS nơi có sẵn Tối ưu hóa câu lệnh nâng cao. Để bắt đầu, hãy bật rút ngắn câu lệnh cho mẫu câu lệnh trong tập dữ liệu đầu vào của bạn và tạo công việc tối ưu hóa như bình thường. Để tìm hiểu thêm, hãy xem Rút ngắn câu lệnh trong Hướng dẫn sử dụng Amazon Bedrock, trang định giá Amazon Bedrock và trang sản phẩm Amazon Bedrock.