Модели Cosmos3-Edge, Cosmos3-Nano и Cosmos3-Super теперь доступны в Amazon SageMaker JumpStart
Модели NVIDIA Cosmos3-Edge, Cosmos3-Nano и Cosmos3-Super теперь доступны в Amazon SageMaker JumpStart, расширяя портфель базовых моделей, предлагаемых клиентам AWS. Эти три модели образуют семейство моделей открытого и омнимодального мира Cosmos 3 для физического искусственного интеллекта, позволяющих клиентам создавать роботов, автономные транспортные средства и искусственный интеллект машинного зрения, которые воспринимают, рассуждают, планируют и действуют в физическом мире.
Специализированные возможности этих моделей предназначены для решения различных задач физического ИИ.
Cosmos3-Edge разработана для управления роботами с устройства и визуальных логических рассуждений в реальном времени на периферийном оборудовании. Эта омнимодель с 4 млрд параметров (с модулем логических рассуждений на базе 2B Nemotron) работает в разрешении, пригодном для управления роботом (640 × 360), обеспечивает логические рассуждения в реальном времени и генерирует 32 действия за один вывод на частоте 15 Гц на NVIDIA Jetson Thor. Она поддерживает видео с разрешением 256p и 480p при частоте 12–30 кадров в секунду, обеспечивая передовые возможности физического искусственного интеллекта непосредственно во встраиваемых системах.
Cosmos3-Nano – компактная омнимодальная модель с 16 млрд параметров, отличающаяся исключительной способностью к построению мира с учетом физики и физическим логическим рассуждениям. Она обрабатывает комбинации текста, изображений, видео, аудио и траекторий действий для получения соответствующих результатов, что позволяет роботам и агентам ИИ машинного зрения рассуждать, используя предварительные знания, понимание физики и здравый смысл. Она поддерживает цепочку логических рассуждений по тексту, изображениям и видео с разрешением до 720p.
Cosmos3-Super обеспечивает самое точное создание и моделирование мира в семействе Cosmos 3 при 64 млрд параметров. Она совместно обрабатывает и генерирует язык, изображения, видео, аудио и последовательности действий в рамках унифицированной архитектуры Mixture-of-Transformers, поддерживающей разрешение до 720p при различных соотношениях сторон. Идеально подходит для крупномасштабного моделирования, генерации синтетических данных и рабочих процессов изучения политик.
Используя SageMaker JumpStart, клиенты могут развернуть любую из этих моделей всего несколькими щелчками мыши для своих примеров использования искусственного интеллекта.
Чтобы начать работу с этими моделями, откройте каталог моделей SageMaker JumpStart в консоли SageMaker или воспользуйтесь пакетом средств разработки ПО (SDK) SageMaker для Python, чтобы развернуть модели в своем аккаунте AWS. Подробные инструкции о развертывании и использовании базовых моделей в SageMaker JumpStart см. в документации Amazon SageMaker JumpStart.