Amazon SageMaker HyperPod hiện hỗ trợ thu thập dữ liệu cho khối lượng công việc suy luận
Amazon SageMaker HyperPod hiện hỗ trợ thu thập dữ liệu cho khối lượng công việc suy luận, một khả năng mới ghi lại yêu cầu suy luận và tải trọng phản hồi từ các điểm cuối sản xuất vào Amazon S3. Khách hàng triển khai mô hình AI tạo sinh trên HyperPod cần khả năng hiển thị đầu vào và đầu ra của mô hình để phát hiện sai lệch, khắc phục sự cố sản xuất, xây dựng tập dữ liệu đánh giá và liên tục cải thiện các mô hình đã triển khai của họ. Tuy nhiên, trước đây để có khả năng hiển thị này, họ phải xây dựng các quy trình tạo bản ghi tùy chỉnh bên ngoài dịch vụ.
Với khả năng thu thập dữ liệu, khách hàng có thể đào tạo các mô hình nháp dùng cho giải mã suy đoán từ lưu lượng sản xuất thực tế của họ để cải thiện hiệu năng so với các mô hình nháp tổng quát, xây dựng quy trình đánh giá dựa trên dữ liệu sản xuất, cung cấp dữ liệu đầu vào thực cho các công việc tinh chỉnh và duy trì biên bản kiểm tra để đảm bảo tuân thủ. Khách hàng chọn nơi thu thập lưu lượng suy luận trên mỗi điểm cuối, tại điểm cuối SageMaker, bộ cân bằng tải hoặc pod mô hình. Dữ liệu thu thập được phân phối không đồng bộ đến vùng lưu trữ Amazon S3 của khách hàng mà không chặn suy luận, đồng thời hỗ trợ lấy mẫu có thể cấu hình và mã hóa AWS KMS do khách hàng quản lý. Bạn có thể bật thu thập dữ liệu khi triển khai mô hình thông qua Toán tử suy luận HyperPod và sử dụng dữ liệu thu thập với Trình giám sát mô hình của Amazon SageMaker và quy trình công việc đánh giá, tinh chỉnh và đào tạo mô hình nháp hiện có của bạn.
Tính năng này được cung cấp cho các cụm SageMaker HyperPod sử dụng trình điều phối EKS ở tất cả các Khu vực AWS hỗ trợ Amazon SageMaker HyperPod. Để tìm hiểu thêm, hãy xem Thu thập dữ liệu để suy luận trên HyperPod.