Knowledge Bases for Amazon Bedrock, 스트리밍 응답 지원
Knowledge Bases for Amazon Bedrock은 기업의 데이터 소스에서 상황별 정보를 통합하여 매우 정확하고 지연 시간이 짧으며 안전한 맞춤형 GenAI 애플리케이션을 생성할 수 있는 완전관리형 엔드 투 엔드 검색 증강 생성(RAG) 워크플로를 제공합니다. 오늘 AWS는 Bedrock 지식 기반 시스템에서에서 RetrieveAndGenerateStream API를 지원한다고 발표했습니다. 새로운 스트리밍 API를 사용하는 Knowledge Bases for Amazon Bedrock 고객은 완전한 응답을 기다릴 필요 없이 대규모 언어 모델(LLM)에서 응답이 생성되는 대로 받을 수 있습니다.
RAG 워크플로에는 데이터 저장소를 쿼리하고, 관련 컨텍스트를 수집한 다음, 응답 요약을 위해 LLM에 쿼리를 보내는 등 여러 단계가 포함됩니다. 이 마지막 응답 생성 단계는 응답 생성에 사용되는 기본 모델의 지연 시간에 따라 몇 초가 걸릴 수 있습니다. 지연 시간에 민감한 애플리케이션 구축 시 이러한 지연 시간을 줄이기 위해, 이제 AWS는 모델에서 생성되는 대로 응답을 스트림으로 제공하는 RetrieveAndGenerateStream API를 제공합니다. 따라서 첫 번째 응답의 지연 시간이 줄어들어 사용자는 Knowledge Bases for Amazon Bedrock과 상호 작용할 때 보다 원활하고 응답성이 뛰어난 경험을 할 수 있습니다.
현재 이 새로운 기능은 모든 기존 Knowledge Bases for Amazon Bedrock 리전에서 지원됩니다. 자세한 내용은 설명서를 참조하시기 바랍니다.