I modelli langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking e LightOnOCR-2-1B sono ora disponibili su Amazon SageMaker JumpStart
I modelli langcache-embed-v3-small di Redis, Mellum2-12B-A2.5B-Thinking di JetBrains e LightOnOCR-2-1B di LightOn sono ora disponibili su Amazon SageMaker JumpStart, ampliando il catalogo dei modelli di fondazione a disposizione dei clienti AWS. Questi tre modelli offrono funzionalità specializzate che spaziano dall'ottimizzazione della memorizzazione nella cache semantica al ragionamento incentrato sul codice, fino all'OCR dei documenti end-to-end, consentendo ai clienti di distribuire soluzioni di IA scalabili e ad alte prestazioni sull'infrastruttura AWS.
langcache-embed-v3-small è ottimizzato per la memorizzazione nella cache semantica nelle applicazioni LLM. Il modello mappa frasi e paragrafi in uno spazio vettoriale denso creato appositamente per identificare query semanticamente equivalenti indipendentemente dalla formulazione, consentendo accessi intelligenti alla cache che riducono le chiamate LLM ridondanti e accelerano i tempi di risposta nei carichi di lavoro di inferenza ad alto volume.
Mellum2-12B-A2.5B-Thinking eccelle nella generazione di codice, nel debug, nel ragionamento in più fasi e nei flussi di lavoro di programmazione agentica. Utilizza un'architettura Mixture-of-Experts (64 esperti, 8 attivati per ciascun token), attivando solo 2,5 miliardi dei suoi 12 miliardi di parametri totali per ogni passaggio diretto, con una lunghezza del contesto di 131.072 token. Il modello genera espliciti percorsi di ragionamento chain-of-thought prima di elaborare le risposte finali, offrendo un'inferenza a throughput elevato e bassa latenza; la soluzione ideale per attività di routing, RAG, sub-agenti e distribuzioni private.
LightOnOCR-2-1B garantisce una conversione multilingue completa da documento a testo per file PDF, scansioni e immagini, eliminando la necessità di configurare rigide pipeline OCR. Questo modello visivo-linguistico da 1 miliardo di parametri converte direttamente le immagini delle pagine in testo pulito e con ordinamento naturale, raggiungendo prestazioni all'avanguardia su OlmOCR-Bench pur risultando circa 9 volte più compatto e significativamente più veloce rispetto ad approcci concorrenti.
SageMaker JumpStart consente ai clienti di distribuire uno qualsiasi di questi modelli con pochi clic per rispondere a specifici casi d'uso di IA.
Per iniziare, accedi al catalogo modelli di SageMaker JumpStart nella console SageMaker oppure utilizza l'SDK SageMaker Python per distribuire i modelli nell'account AWS. Per ulteriori informazioni sulla distribuzione e l'utilizzo dei modelli di fondazione in SageMaker JumpStart, consulta la documentazione di Amazon SageMaker JumpStart.