Los modelos Gemma-4-31B-it-assistant y Gemma-4-31B-IT-NVFP4 ya están disponibles en Amazon SageMaker JumpStart
Los modelos Gemma-4-31B-it-assistant de Google DeepMind y Gemma-4-31B-IT-NVFP4 de NVIDIA ya están disponibles en Amazon SageMaker JumpStart, lo que amplía la cartera de modelos fundacionales disponibles para los clientes de AWS. Estos dos modelos incorporan la arquitectura densa del modelo insignia Gemma 4 31B a las cargas de trabajo empresariales, tanto en variantes de precisión completa como en variantes cuantizadas y optimizadas, lo que permite a los clientes implementar soluciones de IA escalables y de alto rendimiento en la infraestructura de AWS.
Estos modelos abordan diferentes desafíos de la IA empresarial con capacidades especializadas:
Gemma-4-31B-it-assistant está diseñado para el razonamiento multimodal, la codificación y los flujos de trabajo agencial como la variante ajustada por el asistente del emblemático modelo denso 31B de Google. Administra las entradas de texto e imagen (incluido video como secuencias de fotogramas) y genera salida de texto, con una ventana de contexto de 256 mil tokens y compatibilidad con más de 140 idiomas. Ocupa el tercer lugar entre los modelos abiertos en la tabla de clasificación de texto de Arena A, superando a modelos 20 veces más grandes que él, y cuenta con un mecanismo de atención híbrido que intercala la atención local de ventana deslizante y la atención global completa con llamadas a características nativas para la creación de agentes autónomos.
Gemma-4-31B-IT-NVFP4 ofrece las mismas capacidades que Gemma 4 31B en una fracción del consumo de memoria. Al cuantificarlo con el marco de trabajo ModelOpt de NVIDIA a una precisión de 4 bits en FP4, reduce el uso de memoria a aproximadamente 18,5 GB (un 68 % menos que el modelo base) y logra una inferencia aproximadamente 2.5 veces más rápida, al tiempo que retiene entre el 97 % y el 99 % de la calidad del modelo original. Ideal para despliegues de producción rentables y de alto rendimiento en GPU de NVIDIA RTX, DGX Spark y de centros de datos.
Con SageMaker JumpStart, los clientes pueden implementar cualquiera de estos modelos con solo unos clics para abordar sus casos de uso específicos de IA.
Para empezar a utilizar estos modelos, navegue hasta el catálogo de modelos JumpStart de SageMaker en la consola de SageMaker o utilice el SDK de Python de SageMaker para implementar los modelos en su cuenta de AWS. Para obtener más información sobre la implementación y el uso de modelos fundacionales en SageMaker JumpStart, consulte la documentación de Amazon SageMaker JumpStart.