I modelli Gemma-4-31B-it-assistant e Gemma-4-31B-IT-NVFP4 sono ora disponibili su AmazonSageMaker JumpStart
I modelli Gemma-4-31B-it-assistant di Google DeepMind e Gemma-4-31B-IT-NVFP4 di NVIDIA sono ora disponibili su Amazon SageMaker JumpStart, ampliando il portfolio di modelli di base a disposizione dei clienti AWS. Questi due modelli estendono l'architettura densa di punta Gemma 4 31B ai carichi di lavoro aziendali in varianti sia a piena precisione sia quantizzate e ottimizzate, consentendo ai clienti di distribuire soluzioni di intelligenza artificiale ad alte prestazioni e scalabili sull'infrastruttura AWS.
I modelli rispondono a diverse sfide dell'IA per le aziende con capacità dedicate:
Gemma-4-31B-it-assistant è progettato per il ragionamento multimodale, la programmazione e i flussi di lavoro di IA agentici in quanto variante ottimizzata per l'assistenza del modello denso da 31B di punta di Google. Gestisce input di testo e immagini (inclusi video come sequenze di fotogrammi) e genera output di testo, con una finestra di contesto di 256K token e supporto per oltre 140 lingue. Classificato al terzo posto tra i modelli aperti nella classifica di Arena AI per il testo, superando modelli 20 volte più grandi, è dotato di un meccanismo di attenzione ibrido che alterna finestre scorrevoli locali e attenzione globale completa, con chiamata di funzioni nativa per la creazione di agenti autonomi.
Gemma-4-31B-IT-NVFP4 offre le stesse funzionalità di Gemma 4 31B con una frazione dell'ingombro di memoria. Quantizzato con il framework ModelOpt di NVIDIA a una precisione FP4 a 4 bit, riduce l'utilizzo di memoria a circa 18,5 GB (con una riduzione del 68% rispetto al modello base) e raggiunge un'inferenza circa 2,5 volte più rapida, mantenendo dal 97% al 99% della qualità del modello originale. Ideale per distribuzioni in produzione economiche e ad alto throughput su GPU NVIDIA RTX, DGX Spark e per data center.
SageMaker JumpStart consente ai clienti di distribuire uno qualsiasi di questi modelli con pochi clic per rispondere a specifici casi d'uso di IA.
Per iniziare, accedi al catalogo modelli di SageMaker JumpStart nella console SageMaker oppure utilizza l'SDK SageMaker Python per distribuire i modelli nell'account AWS. Per ulteriori informazioni sulla distribuzione e l'utilizzo dei modelli di fondazione in SageMaker JumpStart, consulta la documentazione di Amazon SageMaker JumpStart.