Amazon Bedrock annuncia l'anteprima della memorizzazione nella cache dei prompt
AWS ha appena annunciato che Amazon Bedrock supporta ora la memorizzazione nella cache di prompt. La memorizzazione nella cache di prompt è una nuova funzionalità che può ridurre i costi fino al 90% e la latenza fino all'85% per i modelli supportati memorizzando nella cache i prompt utilizzati di frequente su più chiamate API. Consente di memorizzare nella cache gli input ripetitivi ed evitare la rielaborazione del contesto, ad esempio lunghi prompt di sistema ed esempi comuni che aiutano a guidare la risposta del modello. Quando si utilizza la cache, sono necessarie meno risorse di elaborazione per generare l'output. Di conseguenza, non solo possiamo elaborare la tua richiesta più velocemente, ma possiamo anche trasferire i risparmi sui costi derivanti dall'utilizzo di meno risorse.
Amazon Bedrock è un servizio completamente gestito che offre una scelta di FM ad alte prestazioni delle principali società di IA tramite un'unica API. Amazon Bedrock offre anche un'ampia gamma di funzionalità di cui i clienti hanno bisogno per creare applicazioni di IA generativa con sicurezza, privacy e IA responsabile integrate. Queste funzionalità consentono di creare applicazioni su misura per molteplici casi d'uso in diversi settori, aiutando le organizzazioni a sbloccare una crescita sostenuta dall'IA generativa e fornendo al contempo strumenti per creare fiducia nei clienti e governance dei dati.
La memorizzazione nella cache dei prompt è ora disponibile su Claude 3.5 Haiku e Claude 3.5 Sonnet v2 negli Stati Uniti occidentali (Oregon) e negli Stati Uniti orientali (Virginia settentrionale) tramite inferenza interregionale e sui modelli Nova Micro, Nova Lite e Nova Pro negli Stati Uniti orientali (Virginia settentrionale). Al momento del lancio, solo un numero selezionato di clienti avrà accesso a questa funzionalità. Per saperne di più sulla partecipazione all'anteprima, consulta questa pagina. Per saperne di più sulla memorizzazione nella cache dei prompt, consulta la nostra documentazione e il nostro blog.