Các mô hình Cosmos3-Edge, Cosmos3-Nano và Cosmos3-Super hiện có sẵn trên Amazon SageMaker JumpStart
Các mô hình Cosmos3-Edge, Cosmos3-Nano và Cosmos3-Super của NVIDIA hiện được cung cấp trên Amazon SageMaker JumpStart, mở rộng danh mục các mô hình nền tảng có sẵn cho khách hàng AWS. Ba mô hình này tạo thành dòng Cosmos 3 của các mô hình thế giới toàn phương thức mở, tiên phong cho AI vật lý, cho phép khách hàng chế tạo robot, xe tự hành và AI thị giác giúp nhận thức, suy luận, lập kế hoạch và hành động trong thế giới vật lý.
Các mô hình này giải quyết các thách thức AI vật lý khác nhau với các khả năng chuyên biệt:
Cosmos3-Edge được thiết kế để điều khiển robot trên thiết bị và suy luận trực quan theo thời gian thực trên phần cứng biên. Mô hình đa thức 4 tỷ tham số này (với bộ suy luận dựa trên Nemotron 2B) hoạt động ở độ phân giải điều khiển robot (640×360), cung cấp suy luận theo thời gian thực và tạo ra 32 hành động cho mỗi suy luận ở tần số 15 Hz trên NVIDIA Jetson Thor. Mô hình này hỗ trợ video 256p và 480p ở tốc độ 12-30 FPS, mang khả năng AI vật lý tiên phong trực tiếp đến các hệ thống nhúng.
Cosmos3-Nano vượt trội trong việc tạo thế giới nhận thức vật lý và suy luận vật lý như một mô hình toàn phương thức 16 tỷ tham số nhỏ gọn. Mô hình này xử lý các kết hợp các văn bản, hình ảnh, video, âm thanh và quỹ đạo hành động để tạo ra đầu ra tương ứng, cho phép robot và các tác tử AI thị giác suy luận bằng cách sử dụng kiến thức trước đó, hiểu hệ thống vật lý và hiểu biết thông thường. Mô hình này hỗ trợ suy luận chuỗi tư duy trên văn bản, hình ảnh và video với độ phân giải lên đến 720p.
Cosmos3-Super cung cấp khả năng tạo và mô phỏng thế giới có độ trung thực cao nhất trong dòng Cosmos 3 ở 64 tỷ tham số. Mô hình này kết hợp xử lý và tạo ra các trình tự ngôn ngữ, hình ảnh, video, âm thanh và hành động trong kiến trúc Kết hợp các bộ chuyển đổi (Mixture-of-Transformers) hợp nhất, hỗ trợ độ phân giải lên đến 720p trên nhiều tỷ lệ khung hình. Rất phù hợp cho mô phỏng quy mô lớn, tạo dữ liệu tổng hợp và quy trình học chính sách.
Với SageMaker JumpStart, khách hàng có thể triển khai bất kỳ mô hình nào trong số này chỉ với một vài cú nhấp chuột để giải quyết các trường hợp sử dụng AI cụ thể của họ.
Để bắt đầu sử dụng các mô hình này, hãy điều hướng đến danh mục mô hình SageMaker JumpStart trong bảng điều khiển SageMaker hoặc sử dụng SageMaker Python SDK để triển khai mô hình vào tài khoản AWS của bạn. Để biết thêm thông tin về việc triển khai và sử dụng mô hình nền tảng trong SageMaker JumpStart, hãy xem tài liệu về Amazon SageMaker JumpStart.