Amazon Bedrock

Chắt lọc mô hình Amazon Bedrock

Tổng quan

Với tính năng Chắt lọc mô hình của Amazon Bedrock, bạn có thể sử dụng các mô hình nhỏ gọn, nhanh và tiết kiệm chi phí hơn, đồng thời đạt được độ chính xác cho từng trường hợp sử dụng cụ thể tương đương với các mô hình tiên tiến nhất trong Amazon Bedrock. Các mô hình chắt lọc trong Amazon Bedrock nhanh hơn tới 500% và rẻ hơn tới 75% so với mô hình gốc cùng độ chính xác giảm chưa đến 2% cho các trường hợp sử dụng như RAG.

Sử dụng mô hình nhỏ hơn, tiết kiệm chi phí hơn

Với Chắt lọc mô hình, khách hàng có thể chọn một mô hình lớn hơn với độ chính xác tùy chỉnh theo trường hợp sử dụng, sau đó chọn mô hình nhỏ hơn mà họ muốn tinh chỉnh. Khách hàng cũng đưa ra câu lệnh cho trường hợp sử dụng của họ. Phương pháp Chắt lọc mô hình sẽ tự động hóa quá trình tạo phản hồi từ nhóm lớn hơn và sử dụng những phản hồi đó để tinh chỉnh mô hình nhỏ hơn. Các mô hình nhỏ hơn sau đó có thể hoạt động tương tự mô hình lớn hơn với độ chính xác tương tự nhưng tiết kiệm chi phí hơn. Chắt lọc mô hình hỗ trợ nhiều loại mô hình từ các nhà cung cấp mô hình khác nhau, bao gồm Amazon Nova Premier (giáo viên) và Nova Pro (học sinh), Claude 3.5 Sonnet v2 (giáo viên), Llama 3.3 70B (giáo viên) và Llama 3.2 1B/3B (học sinh). Các mô hình tùy chỉnh cụ thể có thể được gọi thông qua suy luận theo yêu cầu, giúp giảm nhu cầu về cơ sở hạ tầng luôn hoạt động. Vui lòng tham khảo danh sách mô hình tại đây.

Screenshot of a user interface for selecting teacher and student models for distillation, featuring Llama 3.1 models. The teacher model Llama 3.1 405B is selected, and student model options include Llama 3.1 70B and Llama 3.1 8B.

Tối đa hóa hiệu suất mô hình chưng cất với tổng hợp dữ liệu độc quyền

Việc tinh chỉnh mô hình nhỏ hơn, tiết kiệm chi phí hơn để đạt được độ chính xác tương tự như mô hình lớn hơn cho trường hợp sử dụng cụ thể của bạn là một quá trình lặp đi lặp lại. Chắt lọc mô hình có thể chọn sử dụng nhiều kỹ thuật tổng hợp dữ liệu khác nhau phù hợp nhất với trường hợp sử dụng của bạn để giảm bớt áp lực lặp lại cần thiết để đạt kết quả tốt hơn. Ví dụ: Bedrock có thể mở rộng tập dữ liệu đào tạo bằng cách tạo các câu lệnh tương tự hoặc tạo phản hồi tổng hợp chất lượng cao dựa trên tiêu chuẩn vàng là các cặp câu lệnh – phản hồi do khách hàng cung cấp.

Screenshot of the AWS Synthetic Data Generation and Model Distillation user interface. The UI enables users to set the maximum response length, choose a distillation input dataset from an S3 location or invocation logs, and provides options to upload data or browse S3 buckets to generate synthetic responses for fine-tuning machine learning models.

Tiết kiệm chi phí nhờ dễ dàng đưa dữ liệu sản xuất của bạn

Với phương pháp tinh chỉnh truyền thống, khách hàng phải tự tạo câu lệnh và phản hồi. Với tính năng Chắt lọc mô hình, khách hàng chỉ cần đưa ra câu lệnh và Chắt lọc mô hình sẽ dựa vào đó để cung cấp phản hồi tổng hợp và tinh chỉnh mô hình nhỏ hơn. Khách hàng có thể hướng chúng tôi tới nhật ký gọi và cũng có thể lọc nhật ký dựa trên các trường siêu dữ liệu nhất định. Chắt lọc mô hình có thể đọc cả câu lệnh và phản hồi thông qua nhật ký gọi và bỏ qua khâu tạo phản hồi tổng hợp trong quy trình Chắt lọc mô hình, giúp giảm chi phí vì không phải tạo lại phản hồi từ mô hình lớn. Bắt đầu với các mẫu mã.

Screenshot of the AWS Synthetic Data Generation interface showing options for model distillation, including setting response length, selecting distillation input dataset, configuring S3 log access, adding metadata, and managing access to input data such as prompts or prompt-response pairs.

Tăng độ chính xác dự đoán khi gọi hàm đối với Tác tử

Gọi hàm của tác tử đại diện cho một tính năng quan trọng của ứng dụng AI hiện đại, cho phép các mô hình tương tác với công cụ bên ngoài, cơ sở dữ liệu và API bằng cách xác định chính xác thời điểm và cách thức gọi các hàm cụ thể. Mặc dù các mô hình lớn thường có khả năng vượt trội trong xác định hàm thích hợp khi gọi và cấu trúc các tham số thích hợp nhưng thông thường, chi phí và độ trễ cũng sẽ tăng theo. Chắt lọc mô hình Amazon Bedrock cho phép các mô hình nhỏ có thể dự đoán chính xác việc gọi hàm, từ đó cung cấp thời gian phản hồi nhanh hơn và chi phí hoạt động thấp hơn đáng kể.