Il routing di prompt intelligente di Amazon Bedrock è ora disponibile in anteprima
Il routing di prompt intelligente di Amazon Bedrock indirizza i prompt a diversi modelli di fondazione all'interno di una famiglia di modelli, aiutandoti a ottimizzare la qualità delle risposte e i costi. Utilizzando tecniche avanzate di corrispondenza dei prompt e di comprensione dei modelli, il routing di prompt intelligente prevede le prestazioni di ciascun modello per ogni richiesta e instrada dinamicamente ogni richiesta verso il modello che, secondo le previsioni, è in grado di fornire la risposta desiderata al costo più basso. I clienti possono scegliere tra due router di prompt che instradano le richieste tra Claude Sonnet 3.5 e Claude Haiku, oppure tra Llama 3.1 8B e Llama 3.1 70B.
Amazon Bedrock è un servizio completamente gestito che offre una scelta di modelli di fondazione ad alte prestazioni delle principali società di IA attraverso un'unica API. Amazon Bedrock offre anche un'ampia gamma di funzionalità di cui i clienti hanno bisogno per creare applicazioni di IA generativa con sicurezza, privacy e IA responsabile integrate. Queste funzionalità consentono di creare applicazioni su misura per molteplici casi d'uso in diversi settori, aiutando le organizzazioni a sbloccare una crescita sostenuta dall'IA generativa e garantendo al contempo la fiducia dei clienti e la governance dei dati. Con il routing di prompt intelligente, Amazon Bedrock può aiutare i clienti a creare applicazioni IA generativa convenienti con una combinazione di modelli di fondazione per ottenere prestazioni migliori a costi inferiori rispetto a un singolo modello di fondazione.
Durante l'anteprima, ai clienti vengono addebitati prezzi regolari on-demand per i modelli a cui vengono indirizzate le richieste. Per ulteriori informazioni consulta la nostra documentazione e il nostro blog.