Amazon SageMaker AI hiện hỗ trợ độ dài chuỗi tùy chỉnh cho các công việc tùy chỉnh mô hình phi máy chủ
Hôm nay, Amazon SageMaker AI công bố khả năng cấu hình độ dài trình tự được sử dụng trong công việc tùy chỉnh mô hình phi máy chủ của bạn. Tùy chỉnh mô hình phi máy chủ của Amazon SageMaker AI hỗ trợ tinh chỉnh cho nhiều mô hình trọng số mở, bao gồm các mô hình từ các dòng phổ biến bao gồm gpt-oss, Gemma, Llama, Nemotron và Qwen. Trước đây, mỗi công thức tinh chỉnh chạy ở độ dài trình tự cố định mà khách hàng không thể sửa đổi. Khách hàng đôi khi cần sửa đổi các tham số này để đạt được kết quả tốt hơn cho trường hợp sử dụng của họ. Khách hàng cũng yêu cầu độ dài trình tự dài hơn so với mặc định tĩnh mà chúng tôi hỗ trợ trên một số mô hình.
Giờ đây, bạn có thể đặt các tham số độ dài trình tự như một phần trong siêu tham số của công việc tùy chỉnh, ở bất cứ đâu lên đến mức tối đa được công bố cho mô hình và kỹ thuật bạn đã chọn. Bạn có thể đặt siêu tham số dataset_max_len cho các công việc SFT và DPO hoặc đặt siêu tham số max_prompt_length và max_response_length cho các công việc RFT. Điều này cho phép bạn kiểm soát nhiều hơn để phù hợp với các đặc điểm dữ liệu đào tạo của mình, cho dù bạn đang làm việc với các cặp câu hỏi-trả lời ngắn hay tài liệu nhiều trang. Mức tối đa được công bố có đến 16.000 mã thông báo cho nhiều mô hình tùy thuộc vào mô hình và kỹ thuật.
Tùy chỉnh mô hình phi máy chủ trên SageMaker AI có sẵn ở Miền Đông Hoa Kỳ (Bắc Virginia), Miền Tây Hoa Kỳ (Oregon), Châu Á Thái Bình Dương (Tokyo) và Châu Âu (Ireland). Để bắt đầu, hãy điều hướng đến trang Mô hình trong Studio Amazon SageMaker để khởi chạy công việc tùy chỉnh, sử dụng SDK SageMaker Python hoặc sử dụng Kỹ năng tác tử của chúng tôi với lựa chọn trợ lý lập trình của bạn. Để tìm hiểu thêm và xem danh sách các mô hình và độ dài trình tự được hỗ trợ cho mỗi kỹ thuật, hãy xem tài liệu về SageMaker AI.