SageMaker JumpStart hiện cung cấp các phương án triển khai tối ưu hóa cho mô hình nền tảng
SageMaker JumpStart hiện cung cấp các phương án triển khai được tối ưu hóa, tạo điều kiện cho khách hàng triển khai các mô hình nền tảng bằng các cài đặt được cấu hình sẵn phù hợp với các trường hợp sử dụng và hạn chế hiệu suất cụ thể. Các phương án triển khai tối ưu hóa của SageMaker JumpStart giúp đơn giản hóa quá trình triển khai mô hình bằng cách cung cấp các cấu hình hướng tác vụ có khả năng tối ưu hóa chi phí, thông lượng hoặc độ trễ dựa trên yêu cầu khối lượng công việc của bạn – bất kể là tạo nội dung, tóm tắt hay hỏi đáp. Sự ra mắt này bao gồm phạm vi hỗ trợ cho trên 30 mô hình phổ biến từ Meta, Microsoft, Mistral AI, Qwen, Google và TII, với khả năng hiển thị các chỉ số hiệu suất chính như độ trễ P50, thời gian cho token đầu tiên (TTFT) và thông lượng trước khi triển khai.
Với các phương án triển khai tối ưu hóa của SageMaker JumpStart, khách hàng có thể lựa chọn từ các cấu hình cụ thể theo từng trường hợp sử dụng (ví dụ như viết tạo sinh hoặc tương tác kiểu trò chuyện) và chọn nhiều mục tiêu tối ưu hóa, trong đó có tối ưu hóa chi phí, tối ưu hóa thông lượng, tối ưu hóa độ trễ hoặc hiệu suất cân bằng. Các mô hình triển khai đến các điểm cuối SageMaker AI Managed Inference hoặc cụm SageMaker HyperPod với các cấu hình được thiết lập sẵn giúp loại bỏ việc phải phỏng đoán trong khi vẫn duy trì khả năng hiển thị đầy đủ về thông tin chi tiết quá trình triển khai. Các mô hình được cung cấp bao gồm các biến thể Meta Llama 3.1 và 3.2, Microsoft Phi-3, các mô hình Mistral AI bao gồm Mistral-Small-24B-Instruct-2501 mới, dòng Qwen 2 và 3 bao gồm Qwen2-VL, Google Gemma và TII Falcon3 đa phương thức. Tất cả các phương án triển khai đều tận dụng khả năng triển khai VPC của SageMaker, đảm bảo kiểm soát dữ liệu và cơ sở hạ tầng sẵn sàng để đưa vào hoạt động với khả năng bảo mật cấp doanh nghiệp. Tính năng này được cung cấp ở tất cả các Khu vực AWS hiện đang hỗ trợ SageMaker JumpStart.
Để bắt đầu sử dụng các phương án triển khai được tối ưu hóa, hãy chuyển đến mục Mô hình trong SageMaker Studio, chọn mô hình nền tảng bạn muốn trong tab Mô hình JumpStart, chọn “Triển khai” rồi chọn trường hợp sử dụng và mục tiêu tối ưu hóa hiệu suất của bạn. Để biết thông tin chi tiết, hãy truy cập tài liệu SageMaker JumpStart. AWS đang tích cực mở rộng hỗ trợ để bao gồm thêm nhiều mô hình khác.