Amazon SageMaker lancia l'inferenza basata su modelli multi-adattatore
Oggi Amazon SageMaker introduce nuove funzionalità di inferenza multi-adattatore che rendono disponibili interessanti possibilità per i clienti che utilizzano modelli linguistici pre-addestrati. Questa funzionalità consente di implementare centinaia di adattatori del modello LoRA (Low-Rank Adaptation) ottimizzati dietro un singolo endpoint, caricando in modo dinamico gli adattatori appropriati in millisecondi a seconda della richiesta. Ciò consente di ospitare in modo efficiente molti adattatori LoRA specializzati e creati a partire da un modello base comune, offrendo un throughput elevato e risparmi sui costi rispetto all'implementazione di modelli separati.
Con l'inferenza multi-adattatore, puoi personalizzare rapidamente i modelli pre-addestrati per soddisfare diverse esigenze aziendali. Ad esempio, le aziende di marketing e SaaS possono personalizzare le applicazioni AI/ML utilizzando immagini, stile di comunicazione e documenti unici di ciascun cliente per generare contenuti su misura in pochi secondi. Analogamente le aziende di settori come l'assistenza sanitaria e i servizi finanziari possono riutilizzare un modello base comune basato su LoRA per intraprendere una serie di attività specializzate, dalla diagnosi medica al rilevamento di attività fraudolente, semplicemente sostituendo l'apposito adattatore ottimizzato. Questa flessibilità ed efficienza apre nuove opportunità per implementare un'IA potente e flessibile in tutta l'organizzazione.
La funzionalità di inferenza multi-adattatore è generalmente disponibile nelle seguenti regioni: Asia Pacifico (Tokyo, Seoul, Mumbai, Singapore, Sydney, Giacarta), Canada (Centrale), Europa (Francoforte, Stoccolma, Irlanda, Londra), Medio Oriente (Emirati Arabi Uniti), Sud America (San Paolo), Stati Uniti orientali (Virginia settentrionale, Ohio) e Stati Uniti occidentali (Oregon).
Per iniziare, consulta la guida per sviluppatori di Amazon SageMaker per ottenere informazioni sull'uso di LoRA e sulla gestione degli adattatori modello.