Llama 3.3 70B hiện được cung cấp trên AWS thông qua Amazon SageMaker JumpStart
Khách hàng AWS nay đã có thể truy cập mô hình Llama 3.3 70B từ Meta thông qua Amazon SageMaker JumpStart. Mô hình Llama 3.3 70B sẽ cân bằng hiệu suất cao với hiệu suất tính toán. Mô hình này cũng mang lại chất lượng đầu ra tương đương các phiên bản Llama lớn hơn nhưng đòi hỏi ít tài nguyên hơn một cách đáng kể. Vì thế, đây trở thành lựa chọn tuyệt vời cho việc triển khai AI tiết kiệm chi phí.
Llama 3.3 70B có cơ chế tập trung nâng cao giúp giảm đáng kể chi phí suy luận. Mô hình được đào tạo dựa trên khoảng 15 nghìn tỷ mã thông báo, gồm nội dung có nguồn gốc web và các ví dụ tổng hợp, cũng như trải qua quá trình tinh chỉnh được giám sát chuyên sâu và Học tăng cường từ phản hồi của con người (RLHF). Cách tiếp cận này giúp kết quả đầu ra phù hợp hơn với lựa chọn ưu tiên của con người mà vẫn duy trì các tiêu chuẩn hiệu suất cao. Theo Meta, mức tăng hiệu quả này giúp các hoạt động suy luận tiết kiệm chi phí hơn gần năm lần, biến mô hình trở thành lựa chọn hấp dẫn cho việc triển khai sản xuất.
Khách hàng có thể triển khai Llama 3.3 70B thông qua giao diện người dùng SageMaker JumpStart hoặc lập trình bằng SageMaker Python SDK. Khả năng suy luận tiên tiến của SageMaker AI giúp bạn tối ưu hóa cả hiệu suất và chi phí của quy trình triển khai, cho phép bạn tận dụng tối đa hiệu quả vốn có của Llama 3.3 70B mà còn được hưởng lợi từ quy trình triển khai tinh giản.
Mô hình Llama 3.3 70B có sẵn ở tất cả các Khu vực AWS có Amazon SageMaker AI. Vui lòng xem tài liệu hoặc đọc blog để tìm hiểu thêm về việc triển khai Llama 3.3 70B trên Amazon SageMaker JumpStart.