Amazon SageMaker AI hiện hỗ trợ tùy chỉnh mô hình phi máy chủ cho NVIDIA Nemotron 3.5 Lightning
Amazon SageMaker AI hiện hỗ trợ tùy chỉnh mô hình phi máy chủ cho mô hình NVIDIA Nemotron 3.5 Lightning bằng tính năng tinh chỉnh có giám sát (SFT), Tối ưu hóa ưu tiên trực tiếp (DPO) và tinh chỉnh tăng cường (RFT). Đây là một trong những mô hình trọng số mở mới nhất của NVIDIA và sử dụng kiến trúc lai Kết hợp nhiều chuyên gia cùng với 3 tỷ tham số hoạt động và tổng cộng 30 tỷ tham số. Ngoài việc triển khai mô hình này trên SageMaker AI, hiện bạn cũng có thể tùy biến mô hình này theo các miền và quy trình làm việc cụ thể của mình.
Tùy chỉnh mô hình cho phép bạn điều chỉnh các mô hình nền tảng với dữ liệu độc quyền của mình để một mô hình nhỏ hơn, có kích thước phù hợp có thể đạt được chất lượng ngang mô hình tiên phong trên các tác vụ của bạn, giảm chi phí và độ trễ. Bạn có thể sử dụng dữ liệu được dán nhãn với SFT để cải thiện độ chính xác cho các tác vụ đặc thù theo lĩnh vực, dữ liệu ưu tiên với DPO để điều chỉnh đầu ra phù hợp với văn phong của tổ chức hoặc tín hiệu phần thưởng với RFT để nâng cao hiệu năng trên các tác vụ mới. Với phần tùy chỉnh phi máy chủ, SageMaker AI xử lý toàn bộ công đoạn cung cấp cơ sở hạ tầng và điều phối đào tạo, để bạn có thể tập trung vào dữ liệu và việc đánh giá thay vì phải quản lý cụm và chỉ trả tiền theo mức sử dụng.
Tùy chỉnh mô hình phi máy chủ cho NVIDIA Nemotron 3.5 Lightning trên SageMaker AI có sẵn ở Miền Đông Hoa Kỳ (Bắc Virginia), Miền Tây Hoa Kỳ (Oregon), Châu Á Thái Bình Dương (Tokyo) và Châu Âu (Ireland). Để bắt đầu, hãy điều hướng đến trang Mô hình trong Studio Amazon SageMaker để khởi chạy công việc tùy chỉnh hoặc sử dụng SDK SageMaker Python để truy cập theo lập trình. Để tìm hiểu thêm, hãy xem tài liệu về tùy chỉnh mô hình của Amazon SageMaker AI.