Amazon SageMaker Clarify hiện hỗ trợ đánh giá mô hình nền tảng
Các đánh giá mô hình nền tảng với SageMaker Clarify hiện đã có sẵn. Khả năng này giúp các nhà khoa học dữ liệu và kỹ sư máy học đánh giá, so sánh và chọn các mô hình nền tảng dựa trên nhiều tiêu chí trên các nhiệm vụ khác nhau trong vòng vài phút.
Khách hàng của SageMaker lựa chọn giữa hàng trăm mô hình nền tảng để cung cấp năng lượng cho các ứng dụng AI tổng hợp của họ. Họ đánh giá và so sánh các mô hình này trong quá trình lựa chọn mô hình và tùy chỉnh mô hình để xác định sự phù hợp tối ưu cho trường hợp sử dụng của họ. Quá trình này có thể mất nhiều ngày để xác định các điểm chuẩn có liên quan, định cấu hình các công cụ đánh giá và tiến hành đánh giá trên từng mô hình. Các kết quả thu được thường khó áp dụng cho trường hợp sử dụng cụ thể của chúng.
SageMaker Clarify cung cấp các đánh giá tự động và đánh giá của con người với các kết quả có thể giải thích được. Khách hàng có thể sử dụng khả năng mới này trong Amazon SageMaker Studio để đánh giá các LLM được lưu trữ trên SageMaker hoặc sử dụng fmeval để đánh giá bất kỳ LLM nào. Bắt đầu bằng cách sử dụng bộ dữ liệu nhắc nhở được sắp xếp phù hợp với các tác vụ như tạo văn bản, tóm tắt, trả lời câu hỏi và phân loại. Tùy chỉnh các tham số suy luận và mẫu nhắc nhở và so sánh kết quả của các cài đặt mô hình khác nhau. Mở rộng đánh giá với các bộ dữ liệu và số liệu nhắc nhở tùy chỉnh. Đánh giá của con người cho phép khách hàng đánh giá các khía cạnh chủ quan hơn như sự sáng tạo và phong cách. Sau mỗi lần đánh giá, khách hàng nhận được một báo cáo toàn diện, hoàn chỉnh với các hình ảnh trực quan và ví dụ và tích hợp chúng vào quy trình làm việc SageMaker ML của họ.
Khả năng này khả dụng ở tất cả các Khu vực AWS, ngoại trừ Khu vực AWS GovCloud (Hoa Kỳ), Khu vực Trung Quốc, Châu Á Thái Bình Dương (Hyderabad), Châu Á Thái Bình Dương (Melbourne), Tây Canada (Calgary), Châu Âu (Zurich), Châu Âu (Stockholm), Châu Âu (Tây Ban Nha), Israel (Tel Aviv), Trung Đông (UAE).
Để biết thêm chi tiết, hãy xem trang sản phẩm, tài liệu và trang giá cả của chúng tôi.