Amazon Bedrock Managed Knowledge Base 소개: 더 빠르고 정확한 엔터프라이즈 AI 애플리케이션 구현

오늘, 개발자가 독점 데이터를 사용하여 몇 분 만에 엔터프라이즈급 생성형 AI 애플리케이션을 구축할 수 있도록 지원하는 새로운 기능 세트인 Amazon Bedrock Managed Knowledge Base를 발표합니다. 에이전트 AI 애플리케이션을 구축하는 조직은 정확하고 빠르며 신뢰할 수 있는 결과를 제공하기 위해 전사적 최신 데이터에 대한 안전하고 신뢰할 수 있는 액세스를 필요로 합니다. Managed Knowledge Base는 검색 증강 생성(RAG) 파이프라인을 구축하고 관리하는 데 따르는 복잡성을 추상화하여, 개발자가 인프라 관리가 아니라 비즈니스 성과에 집중할 수 있도록 합니다.

에이전트를 위한 지식 베이스를 구축하는 개발자는 오늘날 세 가지 주요 과제에 직면해 있습니다.

• 기업 데이터에 연결 – 기업 지식은 콘텐츠 유형, 액세스 제어 목록, 문서 형식이 서로 다른, 여러 시스템에 분산되어 있습니다. 각 소스에 대한 사용자 지정 커넥터를 구축하고 유지 관리할 경우 복잡성이 가중되어 개발 속도가 느려집니다.
• RAG 정확도 최적화 – 검색 증강 생성을 위한 모범 사례가 계속 발전하고 있습니다. 개발자는 데이터에서 정확한 답을 얻기 위해 다양한 구문 분석 전략, 청킹 접근 방식, 임베딩 모델, 에이전트 검색 동작을 실험해야 합니다.
• 대규모 인프라 관리 – 조직들은 수백만 개의 문서가 포함된 대규모 지식 베이스를 제공하거나 여러 팀에 걸쳐 수천 개의 소규모 지식 ㅁ베이스를 관리해야 합니다. 두 패턴 모두에서 신뢰할 수 있는 인프라, 보안 적용, 비용 관리가 요구됩니다.

이러한 문제로 인해 개발자는 애플리케이션에 집중하지 못하고 획일적인 작업을 반복해서 수행해야 합니다.

Amazon Bedrock Managed Knowledge Base는 개발자가 기존에는 자체적으로 구성하고 유지 관리해야 하는 여러 인프라 구성 요소(스토리지, 검색, 임베딩, 순위 조정, 파운데이션 모델 선택)를 하나의 관리형 프리미티브로 추상화하여 이러한 문제를 해결합니다. 기본적으로, 이 서비스는 사용자를 대신하여 기본 임베딩 모델, 리랭커 모델 및 파운데이션 모델을 자동으로 선택하고 관리하므로, 사용자가 직접 선택하거나 유지 관리할 필요 없이 빠르게 시작할 수 있습니다. 이러한 관리형 기반을 바탕으로, 세 가지 핵심 혁신 기술을 구현하여 사용 편의성과 정확성을 높였습니다.

• 네이티브 데이터 커넥터 – SaaS 애플리케이션에서 엔터프라이즈 데이터와 권한을 기본적으로 가져오는 6개의 사전 구축된 통합 커넥터로, 개발자가 애플리케이션별 요구 사항을 관리할 때 겪는 오버헤드를 해소합니다. 출시 시점에는 Amazon S3, SharePoint, Confluence, Web Crawler, Google Drive, OneDrive를 지원합니다.
• 스마트 구문 분석 – 정확한 검색을 위해서는 콘텐츠 유형과 소스에 따라 각기 다른 접근 방식을 사용해야 합니다. 스마트 구문 분석은 각 데이터 유형과 커넥터에 적합한 구문 분석 전략을 선택하여 이러한 복잡성을 자동으로 해결함으로써 에이전트에 최고의 정확도를 제공합니다.
• 에이전틱 리트리버 – 단일 지식 베이스 내에서 또는 여러 지식 베이스에 걸쳐 멀티턴, 멀티홉 검색이 필요한 복잡한 쿼리에 최적화되었습니다. 에이전틱 리트리버는 최종 사용자의 의도를 자동으로 추론하고 데이터 소스 및 양식 전반에 분산된 기관 지식에서 관련 컨텍스트를 도출합니다.

Amazon Bedrock Managed Knowledge Base는 단 몇 줄의 코드만으로 엔터프라이즈 지식 에이전트를 지원하는 엔드 투 엔드 RAG 파이프라인을 자동으로 관리하고 확장합니다. 에이전트 빌더의 경우, Amazon Bedrock AgentCore Gateway에서 이를 사전 구축된 대상 유형으로 사용하여, 통합을 코드 몇 줄로 줄이고, 역할 기반 권한을 자동 생성하고, AgentCore Observability 대시보드에 관찰성 및 평가 지표를 제공할 수 있습니다.

Amazon Bedrock Managed Knowledge Base 시작하기
Managed Knowledge Base는 쉽게 생성할 수 있습니다. Amazon Bedrock AgentCore 콘솔 또는 Amazon Bedrock 콘솔로 이동하여 지식 베이스 페이지를 열고 관리형 KB 생성을 선택합니다. 프로세스는 두 콘솔 모두에서 동일합니다. 이제 비정형 벡터 저장소 KB를 이미 익숙한 다른 지식 베이스 유형과 함께 권장 옵션으로 사용할 수 있습니다.

새 지식 베이스를 생성할 때 드롭다운 목록에서 지원되는 커넥터를 직접 선택하여 엔터프라이즈 데이터 소스에 연결할 수 있습니다. AWS Identity and Access Management(IAM) 역할은 자동으로 생성되며, 필요에 따라 다음 권한을 편집할 수 있습니다.

단 몇 번의 클릭만으로 지식 베이스를 생성할 수 있도록 최적화된 기본값 세트가 제공됩니다. 데이터가 동기화되면 지식 베이스를 에이전트와 통합하거나 파운데이션 모델을 위한 도구로 제공하고 쿼리를 시작할 수 있습니다.

정확한 데이터 수집을 위한 스마트 구문 분석
지식 베이스 구축의 주요 과제 중 하나는 정확한 검색을 위해 다양한 데이터 유형을 준비하는 것입니다. Managed Knowledge Base를 데이터 소스로 지정하면 스마트 구문 분석을 통해 각 데이터 유형과 커넥터에 대한 최적의 구문 분석 전략이 자동으로 결정되므로 추가 구성이 필요하지 않습니다.

스마트 구문 분석은 다음과 같은 여러 기법을 조합하여 작동합니다.

• 커넥터별 데이터 모델 – 각 데이터 소스에 대한 처리를 최적화합니다. 예를 들어 Web Crawler 커넥터는 포함된 이미지와 테이블을 비롯한 HTML 구조를 보존하여, 수집 중에 리치 콘텐츠가 삭제되지 않도록 합니다. SharePoint 커넥터는 문서 계층 구조와 파일 간의 관계를 유지합니다.
• 멀티모달 처리 – 문서 내의 다양한 컨텐츠 유형을 자동으로 감지하여 처리합니다. 시스템에서 문서의 경계 상자를 식별한 다음, 이를 파운데이션 모델로 보내 비디오 파일의 데이터 추출, 캡션 및 장면 설명을 수행합니다.
• 청킹 최적화 – 스마트 구문 분석은 파운데이션 모델을 활용하여 문서 구조를 이해하고 의미 있는 콘텐츠를 추출함으로써, 형식이 혼합된 복잡한 문서를 적절하게 인덱싱할 수 있도록 합니다. 지능형 기본값은 문서 유형과 콘텐츠 구조에 따라 검색 정확도와 성능의 균형을 맞추고, 고급 사용자가 필요에 따라 청크 전략을 사용자 지정할 수 있게 합니다.

이 자동화된 접근 방식을 사용하면 필요에 따라 사용자 지정할 수 있는 유연성을 유지하면서, 프로덕션 품질의 검색 정확도를 달성하는 데 일반적으로 필요한 몇 주 간의 실험을 배제할 수 있습니다.

복잡한 쿼리에 에이전틱 리트리버 사용
데이터를 수집한 후에는 지식 베이스에 대한 쿼리를 시작할 수 있습니다. 생성형 AI 애플리케이션은 추론, 반복적인 다단계 검색, 결과에 대한 중간 평가가 필요한 복잡한 사용자 쿼리를 구현하는 데 어려움을 겪는 경우가 많습니다. 한 사용자가 “ML 플랫폼 팀의 클라우드 인프라 예산은 얼마인가요?”, “우리의 비용 정책에서 연간 약정 선결제가 허용되나요?”라는 두 가지 관련 질문을 한다고 가정해 보겠습니다. 단일 검색 단계만 수행하면 ML 플랫폼 팀에 대한 문서가 표시되지만, 질문에 완전히 답하는 데 필요한 비용 정책과 예산 정보를 연결하지 못할 수 있습니다.

에이전틱 리트리버는 단계별 쿼리 계획을 생성하여 이 문제를 해결합니다. 1. ML 플랫폼을 소유하고 있는 팀은 어디이며 클라우드 인프라 예산은 얼마인가요? 2. 비용 정책에는 연간 약정 선결제에 대해 어떻게 규정되어 있나요? 3. 정책에서 ML 플랫폼 팀이 이 예산을 선결제로 집행하도록 허용하나요?

시스템은 각 단계에서 멀티홉 검색과 추론을 수행하며, 충분한 관련 문서를 확보하면 검색 프로세스를 중단하고 가장 연관성이 높은 결과를 반환합니다. 이 접근 방식은 별도의 멀티홉 추론 파이프라인을 구축하는 데 따르는 복잡성을 해소함으로써, 복잡한 쿼리의 정확도를 크게 향상시키면서 개발자가 오케스트레이션 로직이 아니라 에이전트 검색 애플리케이션에 집중할 수 있도록 합니다.

Amazon Bedrock AgentCore 콘솔의 지식 베이스 테스트 패널에서 직접 에이전틱 리트리버를 사용해 볼 수 있습니다. 시스템이 여러 지식 베이스 전반에 걸쳐 다단계 쿼리를 자동으로 계획하고 실행할 수 있도록 검색 유형으로 에이전틱 검색만을 선택합니다.

Bedrock AgentCore에서 MCP 활성화
Amazon Bedrock Managed Knowledge Base는 네이티브 대상 유형인 AgentCore Gateway와 원활하게 통합됩니다. 이러한 통합 기능 덕분에 수동 통합이 필요하지 않으며, 관찰성, 정책 적용 및 자동 권한 관리 기능이 기본적으로 제공됩니다.

Amazon Bedrock AgentCore 콘솔 또는 SDK로 이동하여, AgentCore Gateway를 생성하거나 기존 게이트웨이를 선택할 수 있습니다. 게이트웨이에 대상을 추가하면 지식 베이스가 MCP 서버, Lambda ARN, REST API 및 기타 통합과 같은 다른 옵션과 함께 사전 구축된 새로운 대상 유형으로 제공됩니다. 지식 베이스 ID를 선택하기만 하면, 게이트웨이를 통해 제공할 수 있습니다.

지식 베이스 ID 선택기 및 런타임 검색 모드 옵션과 함께, 지식 베이스를 사전 빌드된 새로운 대상 유형으로 보여주는 AgentCore Gateway의 대상 추가 페이지

게이트웨이는 표준 모델 컨텍스트 프로토콜(MCP)을 제공하므로, Strands Agents, LangChain, CrewAI, LlamaIndex, LangGraph 등 모든 MCP 호환 프레임워크의 클라이언트가 지식 베이스 도구를 자동으로 검색할 수 있습니다. 사용자 지정 통합 코드를 작성할 필요가 없습니다.

다양한 모델 옵션 및 유연성
Amazon Bedrock Managed Knowledge Base는 개발자가 Amazon Bedrock에서 기대하는 유연성을 그대로 제공합니다. Bedrock에서 제공되는 모든 파운데이션 모델은 생성 단계에 사용할 수 있으며, 개발자는 사용 사례에 맞게 다양한 임베딩 모델과 순위 조정 모델을 선택하여 검색 성능을 최적화할 수 있습니다. 이를 통해 팀은 인프라를 변경하지 않고도 정확도와 비용 대비 성능을 미세 조정할 수 있습니다.

특정 모델 제공업체에 종속되는 관리형 솔루션과 달리, Amazon Bedrock Managed Knowledge Base는 인프라 관리(커넥터, 구문 분석, 스토리지, 검색 오케스트레이션)와 모델 선택을 서로 분리합니다. 따라서 다음과 같은 이점을 얻을 수 있습니다.

• 최신 모델 활용 – 사용 가능한 최신 임베딩, 순위 조정 및 파운데이션 모델을 채택하여, RAG 파이프라인을 재구축하지 않고도 애플리케이션의 정확성, 지연 시간, 비용을 개선할 수 있습니다.
• 가격 대비 성능 최적화 – 동일한 지식 베이스 인프라를 사용하면서, 간단한 쿼리에는 더 작고 빠른 모델을, 복잡한 추론 작업에는 더 성능이 뛰어난 모델을 선택할 수 있습니다.
• Bedrock 임베딩 모델 사용 – 스마트 구문 분석은 최적화된 기본값을 제공하지만, 특수한 의미론적 이해가 요구되는 분야의 경우 Bedrock 임베딩 모델을 구성할 수 있습니다.
• 기존 애플리케이션과의 일관성 유지 – 이미 Bedrock Knowledge Bases API(Retrieve, StartIngest, StopIngest, IngestKnowledgeBaseDocuments)를 사용하고 있는 경우, Managed Knowledge Base도 동일한 API를 사용하므로 마이그레이션 시에 코드를 변경할 필요 없이 새 지식 베이스 ID를 지정하기만 하면 됩니다.

따라서 변화하는 요구 사항이나 새로운 모델 기능에 따라 모델을 변경할 수 있는 능력을 잃지 않으면서, 생성형 AI 애플리케이션에 시간을 할애할 수 있습니다.

지금 시작하기
Amazon Bedrock Managed Knowledge Base는 현재 미국 동부(버지니아 북부), 미국 서부(오리건), 아시아 태평양(시드니, 도쿄), 유럽(더블린, 프랑크푸르트, 런던) 및 AWS GovCloud(미국 서부) 리전에서 사용할 수 있습니다. 리전별 이용 가능 여부 및 향후 로드맵은 리전별 AWS 기능을 참조하세요.

Bedrock Managed Knowledge Base는 선불 약정 없이 사용한 만큼만 요금을 지불합니다. 요금은 인덱싱된 저장 데이터의 크기와 수행된 검색 건수(온디맨드)라는 두 가지 기준에 따라 결정됩니다. 자세한 요금 정보는 Amazon Bedrock 요금 페이지를 참조하세요. Bedrock은 신규 AWS 고객이 무료로 시작하고 주요 AWS 서비스를 탐색할 수 있는 AWS 프리 티어에도 포함되어 있습니다.

이러한 기능은 CrewAI, LangGraph, LlamaIndex, Strands Agents 등 모든 오픈 소스 프레임워크 및 모든 기반 모델에서 작동합니다. Bedrock 서비스는 함께 또는 개별적으로 사용할 수 있으며, AgentCore 오픈 소스 MCP 서버를 통해 원하는 AI 지원 개발 환경을 시작할 수 있습니다.

자세히 알아보고 빠르게 시작하려면 Bedrock Knowledge Bases 개발자 가이드를 참조하세요.

Daniel Abib