Доступны модели Gemma-4-31B-it-assistant и Gemma-4-31B-IT-NVFP4 в Amazon SageMaker JumpStart
В компоненте Amazon SageMaker JumpStart теперь доступны модели Gemma-4-31B-it-assistant от Google DeepMind и Gemma-4-31B-IT-NVFP4 от NVIDIA, что расширяет портфель базовых моделей, предлагаемых клиентам AWS. Благодаря этим двум моделям флагманская архитектура высокой плотности Gemma-4-31B становится доступной для корпоративных рабочих нагрузок как в высокоточном, так и в оптимизированном квантованном вариантах, что позволяет клиентам развертывать высокопроизводительные и масштабируемые решения искусственного интеллекта в инфраструктуре AWS.
Специализированные возможности этих моделей предназначены для решения различных задач корпоративного ИИ.
Gemma-4-31B-it-assistant разработана для мультимодальных логических рассуждений, написания кода и агентных рабочих процессов в качестве варианта-ассистента флагманской высокоплотной модели 31B от Google. Она обрабатывает текстовые и графические входные данные (в том числе видео как последовательности кадров) и генерирует текстовый вывод с контекстным окном размером в 256 тыс. токенов и поддержкой более 140 языков. Она занимает третье место среди текстовых моделей с открытым исходным кодом в таблице лидеров Arena AI, превосходя конкурирующие модели в 20 раз большего размера. Модель использует механизм гибридного внимания, в котором локальное движущееся окно анализа чередуется с полным глобальным вниманием, а также поддерживает встроенный вызов функций для создания автономных агентов.
Модель Gemma-4-31B-IT-NVFP4 обеспечивает возможности, как у Gemma-4-31B, с использованием лишь доли ее объема памяти. Благодаря квантованию в формат FP4 с четырехбитовой точностью посредством платформы ModelOpt от NVIDIA, она сокращает использование памяти примерно до 18,5 ГБ (на 68 % меньше, чем у модели, на которой она основана) и обеспечивает примерно в 2,5 раза более быстрый вывод при сохранении 97–99 % качества исходной модели. Она идеально подходит для экономичного и высокопроизводительного развертывания в рабочих средах на базе графических процессоров NVIDIA RTX, DGX Spark и центров обработки данных.
Используя SageMaker JumpStart, клиенты могут развернуть любую из этих моделей всего несколькими щелчками мыши для своих примеров использования искусственного интеллекта.
Чтобы начать работу с этими моделями, откройте каталог моделей SageMaker JumpStart в консоли SageMaker или воспользуйтесь пакетом средств разработки ПО (SDK) SageMaker для Python, чтобы развернуть модели в своем аккаунте AWS. Подробные инструкции о развертывании и использовании базовых моделей в SageMaker JumpStart см. в документации Amazon SageMaker JumpStart.