Amazon-Bedrock-Wissensdatenbanken unterstützen jetzt Streaming-Antworten
Amazon-Bedrock-Wissensdatenbanken bietet vollständig verwaltete, durchgängige Retrieval-Augmented Generation (RAG)-Workflows zur Erstellung hochgenauer, latenzarmer, sicherer und benutzerdefinierter GenAI-Anwendungen durch die Integration kontextbezogener Informationen aus den Datenquellen eines Unternehmens. Heute kündigen wir die Unterstützung der RetrieveAndGenerateStream-API in den Bedrock-Wissensdatenbanken an. Diese neue Streaming-API ermöglicht es Kunden mit einer Bedrock-Wissensdatenbank, Antworten bereits zu erhalten, während sie vom großen Sprachmodell (LLM) generiert wird, anstatt auf die vollständige Antwort zu warten.
Der RAG-Workflow umfasst mehrere Schritte, darunter das Abfragen des Datenspeichers, das Erfassen des relevanten Kontextes und das anschließende Senden der Abfrage an ein LLM zur Zusammenstellung der Antwort. Dieser letzte Schritt der Antwortgenerierung kann einige Sekunden dauern, abhängig von der Latenz des zugrunde liegenden Modells, das bei der Antwortgenerierung verwendet wird. Um diese Latenz beim Erstellen latenzempfindlicher Anwendungen zu reduzieren, bieten wir jetzt die RetrieveAndGenerateStream-API an, die die Antwort als Stream bereitstellt, während sie vom Modell generiert wird. Dies führt zu einer geringeren Latenz bei der ersten Antwort und bietet Benutzern ein nahtloseres und reaktionsschnelleres Erlebnis bei der Interaktion mit Bedrock-Wissensdatenbanken.
Diese neue Funktion wird derzeit in allen bestehenden Regionen unterstützt, in denen Amazon-Bedrock-Wissensdatenbanken angeboten werden. Weitere Informationen finden Sie in der Dokumentation.