Amazon Bedrock Agents, Flows e Knowledge Bases ora offrono supporto per i modelli ottimizzati per la latenza

Inserito il: 23 dic 2024

Amazon Bedrock Agents, Flows e Knowledge Bases supportano ora i modelli ottimizzati per la latenza, recentemente introdotti in modalità anteprima, utilizzando l'SDK. Questo miglioramento offre tempi di risposta più rapidi e una maggiore reattività alle applicazioni IA sviluppate con gli strumenti di Amazon Bedrock. Attualmente, questa ottimizzazione è disponibile per il modello Claude 3.5 Haiku di Anthropic e per i modelli Llama 3.1 405B e 70B di Meta, offrendo una latenza ridotta rispetto ai modelli standard senza compromettere la precisione.

L'aggiornamento è particolarmente vantaggioso per i clienti che progettano applicazioni con requisiti di bassa latenza, ad esempio chatbot per il supporto clienti in tempo reale e assistenti di programmazione interattivi. Utilizzando chip IA appositamente progettati come AWS Trainium2 e le ottimizzazioni software avanzate in Amazon Bedrock, i clienti possono ora accedere a più opzioni per ottimizzare la propria inferenza per casi d'uso specifici. Queste funzionalità possono essere integrate direttamente nelle applicazioni già esistenti senza necessità di configurazioni aggiuntive o ulteriori ottimizzazioni dei modelli, offrendo prestazioni potenziate e tempi di risposta più rapidi.

Il supporto per l'inferenza ottimizzata in termini di latenza di Amazon Bedrock Agents, Flows e Knowledge Bases è disponibile nella regione Stati Uniti orientali (Ohio) attraverso l'inferenza interregionale. I clienti possono sfruttare queste nuove funzionalità attraverso l'SDK di Amazon Bedrock utilizzando una configurazione runtime, consentendo loro di integrare in modo programmatico questi modelli ottimizzati nei propri flussi di lavoro e applicazioni.

Per maggiori informazioni su Amazon Bedrock e le sue funzionalità, compreso il nuovo supporto per l'inferenza ottimizzata per la latenza, visita la pagina del prodotto Amazon Bedrock, la pagina dei prezzi e la relativa documentazione.