Ottimizzazione dei costi e delle prestazioni per l'IA generativa utilizzando Amazon SageMaker con Forethought Technologies

La suite di soluzioni per il servizio clienti di Forethought è basata sull'IA generativa, un tipo di intelligenza artificiale in grado di creare nuovi contenuti e idee, tra cui conversazioni, storie, immagini, video e musica. Al centro del prodotto di Forethought vi è la tecnologia SupportGPT, che utilizza modelli linguistici di grandi dimensioni e sistemi di recupero delle informazioni per alimentare oltre 30 milioni di interazioni con i clienti ogni anno. Attraverso l'automazione, l'azienda riduce il carico sui team di assistenza clienti fornendo supporto agli utenti con l'IA conversazionale. Molti clienti di Forethought utilizzano il suo prodotto durante i periodi di maggiore affluenza, come le festività o il periodo della dichiarazione dei redditi, per gestire più problemi dei clienti con un minor numero di agenti dell'assistenza clienti. Forethought offre modelli ML iperpersonalizzati per i propri clienti, spesso addestrando più modelli per cliente per soddisfare i singoli casi d'uso.

Forethought è stata fondata nel 2017 negli Stati Uniti e ha inizialmente utilizzato più provider cloud per l’hosting dei propri prodotti, utilizzando Amazon SageMaker per la formazione di modelli ML. Nei suoi primi 2 anni, l'azienda ha creato una soluzione per l'inferenza di ML utilizzando Amazon Elastic Kubernetes Service (Amazon EKS), un servizio Kubernetes gestito per eseguire Kubernetes su cloud AWS e in locale. Man mano che l'azienda cresceva e acquisiva nuovi clienti, desiderava migliorare la disponibilità della sua soluzione e ridurre i costi.

Per soddisfare le sue esigenze di scalabilità, disponibilità e ottimizzazione dei costi, Forethought ha scelto di migrare la sua inferenza ML su Amazon SageMaker, e ha così iniziato a utilizzare funzionalità aggiuntive di Amazon SageMaker per migliorare i propri prodotti. In questo processo, Forethought ha progettato la propria pipeline per trarre vantaggio dai miglioramenti di latenza e disponibilità che poteva ottenere utilizzando Amazon SageMaker. “A partire dal team di Amazon SageMaker e a tutti i livelli, per tutto ciò che ci serve, veniamo messi in contatto con le persone giuste che ci consentono di trarre il meglio dall’uso di AWS,” afferma Jad Chamoun, director of core engineering presso Forethought.

Forethought ha migrato la sua inferenza ML da Amazon EKS agli endpoint multi-modello di Amazon SageMaker Model Deployment, una soluzione scalabile e conveniente per l'implementazione di grandi quantità di modelli. Un esempio di questa funzionalità in azione nella soluzione di Forethought è il completamento automatico delle parole successive in una frase mentre un utente sta digitando. L'azienda utilizza endpoint multi-modello Amazon SageMaker per eseguire più modelli di ML su un singolo endpoint di inferenza. Ciò migliora la scalabilità e l'efficienza delle risorse hardware come le GPU. L'azienda ha inoltre ridotto i costi utilizzando endpoint multi-modello Amazon SageMaker. “Grazie ad Amazon SageMaker, possiamo supportare i clienti a un costo per cliente inferiore,” afferma Chamoun. "Con la migrazione agli endpoint multi-modello di Amazon SageMaker, abbiamo ridotto i costi fino al 66%, offrendo al contempo una migliore latenza e tempi di risposta migliori per i clienti.”

Forethought utilizza inoltre l'Inferenza serverless Amazon SageMaker, un'opzione di inferenza appositamente progettata, per distribuire e scalare i modelli di ML senza configurare o gestire alcuna infrastruttura sottostante. L'uso dell’Inferenza serverless Amazon SageMaker da parte di Forethought si fonda su piccoli modelli e classificatori ottimizzati per ogni caso d'uso del cliente, come la determinazione automatica della priorità di un ticket di assistenza. Migrando alcuni dei suoi classificatori sull’Inferenza serverless Amazon SageMaker, Forethought ha risparmiato circa l'80% sui relativi costi del cloud.

Il team dell’infrastruttura cloud di Forethought è composto da tre persone. L'esecuzione e la gestione di tutti i modelli di ML e dei cluster Kubernetes era troppo oneroso per il piccolo team. Utilizzando Amazon SageMaker, l'azienda può dimensionare nella misura che desidera con il personale di cui dispone. “Eseguiamo più istanze all'interno degli endpoint multi-modello Amazon SageMaker,” afferma Chamoun. “Siamo in grado di condividere le risorse in modo più efficiente fornendo al contempo una migliore disponibilità rispetto al passato.”

Utilizzando Amazon SageMaker, il team di Forethought non deve più preoccuparsi delle eccezioni o della disponibilità della memoria, problemi a cui i tre ingegneri avrebbero altrimenti dedicato molto tempo. Poiché l'azienda ha impostato le pipeline automatizzate per i modelli linguistici utilizzando Amazon SageMaker, i team di Forethought e i suoi clienti possono interfacciarsi con i dati che desiderano addestrare e inviarli. “Non dover essere coinvolti nell’addestramento, l’implementazione e il dimensionamento è stato fondamentale per consentirci di lavorare su altri elementi che hanno un maggiore impatto per l'azienda,” afferma Chamoun. Forethought esegue ora oltre l'80% della sua inferenza GPU su Amazon SageMaker tra endpoint multi-modello Amazon SageMaker e Inferenza serverless Amazon SageMaker.