Presentazione dell'inferenza ottimizzata per la latenza per i modelli base in Amazon Bedrock
L'inferenza ottimizzata per la latenza per i modelli base in Amazon Bedrock è ora disponibile in anteprima pubblica, offrendo tempi di risposta più rapidi e una migliore reattività per le applicazioni di intelligenza artificiale. Attualmente, queste nuove opzioni di inferenza supportano il modello Haiku Claude 3.5 di Anthropic e i modelli Llama 3.1 405B e 70B di Meta, che offrono una latenza ridotta rispetto ai modelli standard senza compromettere la precisione. Come verificato da Anthropic, grazie all'inferenza ottimizzata per la latenza in Amazon Bedrock, Claude 3.5 Haiku viene eseguito più velocemente su AWS che altrove. Inoltre, con l'inferenza ottimizzata per la latenza in Bedrock, Llama 3.1 405B e 70B vengono eseguiti più velocemente su AWS rispetto a qualsiasi altro importante provider di cloud.
Con un numero sempre crescente di clienti che trasferisce le proprie applicazioni di IA generativa in produzione, l'ottimizzazione dell'esperienza dell'utente finale diventa fondamentale, in particolare per le applicazioni sensibili alla latenza come i chatbot del servizio clienti in tempo reale e gli assistenti di codifica interattivi. Utilizzando chip di intelligenza artificiale appositamente progettati come AWS Trainium2 e le ottimizzazioni software avanzate in Amazon Bedrock, i clienti possono accedere a più opzioni per ottimizzare la propria inferenza per un particolare caso d'uso. L'accesso a queste funzionalità non richiede alcuna configurazione aggiuntiva o messa a punto del modello, consentendo un miglioramento immediato delle applicazioni esistenti con tempi di risposta più rapidi.
L'inferenza ottimizzata per la latenza è disponibile per Claude 3.5 Haiku di Anthropic e Llama 3.1 405B e 70B di Meta nella regione degli Stati Uniti orientali (Ohio) tramite inferenza interregionale. Per iniziare, accedi alla console di Amazon Bedrock. Per ulteriori informazioni su Amazon Bedrock e le sue funzionalità, visita la pagina del prodotto Amazon Bedrock, la pagina dei prezzi e la documentazione.