Knowledge Base per Amazon Bedrock ora supporta le risposte in streaming
Knowledge Base per Amazon Bedrock offre flussi di lavoro RAG (Retrieval-Augmented Generation) end-to-end completamente gestiti per creare applicazioni basate su IA generativa estremamente precise, a bassa latenza, sicure e personalizzate, integrando informazioni contestuali provenienti dalle origini dati della tua azienda. Da oggi è disponibile al pubblico il supporto per l'API RetrieveAndGenerateStream in Knowledge Base per Bedrock. Questa nuova API di streaming consente ai clienti di Knowledge Base per Bedrock di ricevere la risposta man mano che viene generata dal modello linguistico di grandi dimensioni (LLM), senza dover attendere il suo completamento.
Il flusso di lavoro RAG prevede diversi passaggi, tra cui l'interrogazione dell'archivio dati, la raccolta del contesto rilevante e l'invio della query a un LLM per il riepilogo della risposta. Questo passaggio finale di generazione della risposta potrebbe richiedere alcuni secondi a seconda della latenza del modello sottostante utilizzato. Per ridurre la latenza nella creazione di applicazioni sensibili a questa problematica, ora offriamo l'API RetrieveAndGenerateStream, che fornisce la risposta come flusso mentre viene generata dal modello. Il risultato è una latenza ridotta per la prima risposta, offrendo agli utenti un'esperienza più fluida e reattiva durante l'interazione con Knowledge Base per Bedrock.
Questa nuova funzionalità è attualmente supportata in tutte le esistenti regioni in cui è disponibile Knowledge Base per Amazon Bedrock. Per ulteriori informazioni consulta la documentazione.