Mô hình Muse Spark Open hiện đã có sẵn trên Amazon SageMaker JumpStart
Mô hình Muse Spark Open của Meta hiện đã được cung cấp trên Amazon SageMaker JumpStart, mở rộng danh mục các mô hình nền tảng có sẵn cho khách hàng AWS. Mô hình trọng số mở được tối ưu hóa lập trình này từ Meta được xây dựng chuyên biệt cho quy trình công việc lập trình dựa trên tác tử, mang lại suy luận nhiều bước và gọi công cụ cho kỹ thuật phần mềm doanh nghiệp trên cơ sở hạ tầng AWS.
Muse Spark Open được thiết kế cho các tác tử lập trình chạy lâu dài và quy trình công việc kỹ thuật đa phương thức. Được xây dựng trên kiến trúc Kết hợp nhiều chuyên gia (MoE) với tổng cộng 816 tỷ tham số và 42 tỷ tham số hoạt động trên mỗi mã thông báo, mô hình này cung cấp dung lượng của một mạng rất lớn trong khi vẫn giữ điện toán cho mỗi mã thông báo gần với mô hình dày đặc nhỏ hơn nhiều. Mô hình này chứa cửa sổ ngữ cảnh gồm 1 triệu mã thông báo, cho phép mô hình tải nhập toàn bộ dự án – bao gồm các thành phần phụ thuộc, mã cũ và hàng nghìn tệp – mà không cần chia tác vụ thành các phần nhỏ hơn. Mô hình này chấp nhận văn bản, hình ảnh, tài liệu, âm thanh và âm thanh-video làm đầu vào và tạo đầu ra văn bản. Được đào tạo trên các quy trình công việc thực tế của nhà phát triển như tái cấu trúc nhiều tệp và các phiên gỡ lỗi dài, mô hình này lập kế hoạch, hành động, quan sát kết quả và tự sửa chữa trong một khoảng thời gian dài thay vì thực hiện các lệnh gọi công cụ đơn lẻ. SageMaker JumpStart cung cấp hai biến thể: BF16 (Muse-Spark-Open-816B-A42B) và NVFP4 lượng tử hóa (Muse-Spark-Open-816B-A42B-NVFP4). Trong đó, biến thể NVFP4 yêu cầu khoảng một phần tư bộ nhớ để triển khai tiết kiệm chi phí.
Với SageMaker JumpStart, khách hàng có thể triển khai Muse Spark Open chỉ với vài cú nhấp chuột. Điểm cuối sẽ chạy trong tài khoản AWS của riêng họ để có toàn quyền kiểm soát mã nguồn và câu lệnh.
Để bắt đầu sử dụng mô hình này, hãy điều hướng đến danh mục mô hình SageMaker JumpStart trong bảng điều khiển SageMaker hoặc sử dụng SDK SageMaker Python để triển khai mô hình vào tài khoản AWS của bạn. Để biết thêm thông tin về việc triển khai và sử dụng mô hình nền tảng trong SageMaker JumpStart, hãy xem tài liệu về Amazon SageMaker JumpStart.