에이전틱 AI를 위한 데이터 기반을 구축하는 방법에 대한 필수 가이드

대부분의 조직은 업무 효율성을 높이기 위해 AI에 투자하고 있습니다. 많은 조직이 일정 수준의 생성형 AI를 구현했으며 이제 에이전틱 AI를 사용하여 복잡한 워크플로를 자동화하는 다음 단계를 모색하고 있습니다.

에이전틱 AI의 성공은 여러 요인에 따라 다르지만, 조직의 AI 에이전트가 고품질 데이터로 안전하고 효과적으로 작업할 수 있도록 하는 아키텍처 준비 상태, 프로세스 및 메커니즘인 데이터 기반만큼 중요한 요인은 없을 것입니다.

쿼리와 응답 패턴을 기반으로 작동하는 기존 데이터 워크플로와는 뚜렷히 다르게, AI 에이전트는 최소한의 사람의 감독만으로 사전에 정해진 목표를 달성하기 위해 복잡한 작업을 독립적으로 추론하고 계획하고 실행할 수 있습니다. 의도한 최상의 결과를 얻으려면 AI 에이전트가 고품질 데이터를 검색하고 액세스해야 합니다. 관련 결과를 빠르게 제공하려면 적절한 컨텍스트, 메모리 및 지연 시간으로 운영해야 하며, AI 에이전트는 대량의 데이터에서 자율적으로 작동할 수 있으므로 데이터 거버넌스가 필수적입니다.

에이전틱 AI를 위한 데이터 기반을 준비하는 것은 점진적인 프로세스이며 처음부터 시작하는 것을 의미하지 않습니다. 현재 위치에서 시작하여 구축하면서 현재 기능의 한계를 평가할 수 있습니다. 현재 상태를 기반으로 AI 에이전트를 구현하면 투자할 영역의 우선순위를 정하는 데 도움이 될 수 있습니다. 

이 가이드는 AI 에이전트가 데이터 기반에서 필요로 하는 것을 이해하는 데 도움이 되는 핵심 질문을 중심으로 작성되었습니다.

데이터는 사업부, 레거시 시스템, 공급업체 플랫폼 전반에 분산되어 있는 경우가 많습니다. 이는 분산된 구매 의사 결정, 비즈니스 부문별 요구 사항의 차이, 빠른 성장으로 인해 발생하는 경우가 많습니다. 그러나 이로 인해 데이터 사일로가 발생하고, 이를 해소하는 데 많은 비용과 노력이 들 수 있습니다. 또한 기본 시스템은 특정하고 정의된 액세스 패턴을 지원하도록 구축되기 때문에 AI 에이전트의 추가 부하를 지원할 수 있도록 확장하기가 어려워집니다. 개방형 표준을 기반으로 구축된 데이터 기반을 활용하면 조직은 대규모로 AI 에이전트가 데이터에 액세스할 수 있도록 하는 동시에 향후 유연성을 고려해 전체 아키텍처를 설계할 수 있습니다.

개방형 테이블 형식

Apache Iceberg와 같은 개방형 테이블 형식(OTF)은 ACID 트랜잭션과 데이터 구조를 발전시키는 기능을 포함하여 데이터베이스와 유사한 기능을 데이터 레이크에 제공합니다. 특히 OTF를 사용하면 상호 운용이 가능해져 호환되는 모든 도구, 엔진 또는 AI 에이전트가 데이터를 다시 포맷하거나 복제하지 않고도 동일한 데이터로 안전하게 작업할 수 있습니다. 이는 AI 에이전트가 워크플로를 완료하기 위해 여러 엔진과 도구를 사용해 작업하는 경우에 특히 중요합니다. 

또한 개방형 테이블 형식은 OTF 기반 데이터 레이크를 중앙 집중식 거버넌스 계층과 결합하여 데이터 웨어하우스처럼 작동할 수 있는 레이크하우스 아키텍처를 뒷받침합니다. 레이크하우스 아키텍처는 확장 가능하고 유연하며, 데이터 저장 및 처리를 위한 통합 시스템을 제공합니다. 이를 통해 데이터세트를 데이터 제품이라고도 하는 반복 가능한 패턴으로 보다 쉽게 통합하여, 다양한 분석 도구와의 호환성과 중앙 집중식 액세스 제어를 제공할 수 있습니다.

오픈 소스 소프트웨어

트랜잭션 데이터를 위한 PostgreSQL, 데이터 스트리밍을 위한 Apache Kafka, 데이터 처리를 위한 Apache Spark, 검색용 OpenSearch와 같은 오픈 소스 기술은 조직에 널리 채택된 검증된 구성 요소를 제공합니다. 이러한 기술은 광범위한 커뮤니티 지원을 통해 개방형 표준을 기반으로 구축되므로 AI 에이전트는 공개적으로 사용 가능한 코드, 설명서 및 기타 정보의 광범위한 풀을 활용하여 보다 정확한 결정을 내릴 수 있습니다.

개방형 프로토콜

개방형 프로토콜은 AI 에이전트가 서로 그리고 주변 환경과 상호 작용할 수 있는 표준화된 방법을 제공합니다. Model Context Protocol(MCP)은 AI 에이전트를 외부 데이터 소스, 도구 및 API에 연결하여 컨텍스트를 검색하고 조치를 취할 수 있도록 합니다. Agent2Agent Protocol(A2A)을 사용하면 서로 다른 프레임워크에 구축된 AI 에이전트가 서로 통신할 수 있습니다. 이러한 프로토콜을 함께 사용하면 AI 에이전트가 추론 과정에서 여러 소스의 정보를 가져오고, 다른 AI 에이전트에게 작업을 전달할 수 있습니다.

AI 에이전트는 사용 사례에 적합한 데이터를 찾을 수 있어야 하며 단일 워크플로에서 다양한 데이터 유형에 의존하는 경우가 많습니다. 여기에는 고객 레코드, 트랜잭션 및 재고 수준과 같은 정형 데이터, HTML, JSON 또는 XML 파일에 저장된 반정형 데이터, 문서, 지원 티켓 또는 이메일 아카이브와 같은 비정형 데이터가 포함될 수 있습니다. 데이터가 서로 다른 시스템 및 형식으로 분산되어 있는 경우 AI 에이전트는 각 데이터를 찾아 평가할 수 있어야 합니다. 

데이터 카탈로그는 AI 에이전트가 사용 가능한 데이터, 해당 데이터의 의미 및 해당 데이터가 저장된 위치를 파악하는 데 중요한 역할을 합니다. 데이터 카탈로그에는 메타데이터가 포함되며, 메타데이터는 스키마, 데이터 유형, 계보, 최신성, 소유권 등 데이터를 설명하는 정보입니다. 이는 AI 에이전트가 소스에 포함된 데이터를 이해하는 데 특히 중요합니다. 

조직에서 성능, 규정 준수 또는 비즈니스상의 이유로 여러 카탈로그를 유지 관리하는 경우, 카탈로그 페더레이션을 통해 AI 에이전트가 여러 시스템에 저장된 데이터를 검색할 수 있습니다. 일부 조직은 정형, 반정형 및 비정형 데이터를 단일 스토리지 계층으로 통합하여 한 단계 더 나아가고 있습니다. 이렇게 하면 AI 에이전트가 검색해야 할 위치를 줄이고 데이터 유형 전반에서 데이터를 일관된 방식으로 검색하고 평가할 수 있도록 하여 검색이 간소화됩니다.

AI 에이전트가 데이터를 효과적으로 사용하려면 먼저 데이터를 정리, 보강 및 변환해야 하는 경우가 많습니다. 원시 데이터에는 일관되지 않은 형식, 누락된 값 또는 중복 레코드가 포함될 수 있으며, 이는 AI 에이전트의 정확한 추론 능력을 저하시킬 수 있습니다. AI 에이전트가 런타임에 일부 데이터 준비 작업을 수행할 수 있지만, 데이터 변환 도구와 파이프라인을 사용하면 대규모로 데이터 준비를 안정적으로 처리할 수 있습니다. 에이전틱 AI용 데이터 변환 파이프라인에는 벡터 임베딩 생성, 검색 증강 생성(RAG) 청킹, 메타데이터 생성 및 보강, 데이터 품질 검사도 포함될 수 있습니다. 

 계층화된 데이터 아키텍처를 사용하여 AI를 위한 신뢰할 수 있는 고품질 데이터를 준비할 수 있습니다. 주로 레이크하우스에서 구현되는 이 접근 방식에서는 OTF가 계층 간 일관성을 유지하는 데 필요한 트랜잭션 보장을 제공합니다. 또한 데이터의 활용 준비 상태에 따라 데이터를 영역별로 구성합니다. 소스 시스템에서 유입된 그대로의 데이터를 저장하는 원시 영역, 검증 및 표준화된 데이터를 저장하는 정제 영역, 그리고 후속 사용에 최적화된 비즈니스용 데이터세트를 제공하는 큐레이션 영역으로 구성됩니다. 이는 데이터를 의도한 용도에 맞게 정제하고 구성할 수 있는 체계적인 방법을 제공합니다.

많은 AI 에이전트는 현재 상황을 반영하는 고품질 데이터에 액세스해야 합니다. 운영 데이터베이스에 직접 연결하면 AI 에이전트가 애플리케이션에서 사용하는 것과 동일한 최신 정보를 확인할 수 있는 한 가지 방법입니다. 여러 데이터 소스의 데이터를 거의 실시간으로 사용해야 하는 경우 또는 운영 데이터베이스에 직접 액세스하면 성능이나 보안이 저하될 위험이 있는 경우에는 스트리밍 파이프라인을 사용하여 이벤트와 업데이트가 발생하는 즉시 지속적으로 수집할 수 있습니다. 스트리밍 파이프라인은 변경 데이터 캡처(CDC) 프로세스를 사용하여 운영 데이터베이스의 변경 사항을 캡처하고 다른 다운스트림 시스템에서 사용할 수 있는 이벤트 스트림에 게시하며, 이는 대개 수 밀리초 이내에 이루어집니다. 

스트리밍 데이터를 AI 에이전트에 전달하기 전에 조직에서는 수신되는 데이터 이벤트에 결정론적 정제 규칙을 적용하는 것을 고려해야 합니다. 이러한 규칙은 심각한 품질 문제를 신속하게 식별할 수 있으며, 결정론적 규칙으로 필터링되지 않은 데이터의 미묘한 품질 문제를 포착할 수 있는 AI 에이전트와 함께 사용 가능합니다.

데이터 및 AI 거버넌스 구현은 AI 에이전트가 고품질 데이터에서 안전하고 보안이 유지되는 상태로 작동할 수 있도록 하는 데 중요한 첫 단계입니다. 거버넌스는 AI 에이전트에 특히 중요합니다. AI 에이전트는 의사 결정을 내리기 위해 데이터를 동적으로 검색하고 액세스하므로, 적절한 제어가 마련되어 있지 않으면 민감한 데이터가 노출되거나 의도된 범위를 벗어난 리소스에 액세스할 위험이 커집니다. 

데이터 민감도 및 액세스 관리

일반적으로, 특히 규제가 엄격한 환경에서는 데이터의 민감도를 감사하고 적절한 태그와 분류를 적용해야 하며, 매우 민감한 정보는 보안 환경 내부에 유지해야 합니다. 액세스 관리는 최소 권한 원칙을 따라야 합니다. 즉, 작업을 완료하는 데 필요한 정보에 대해서만 액세스 권한을 부여해야 합니다. 부여된 역할과 액세스 권한은 안전한 대규모 운영을 위해 면밀하게 모니터링하고 필요할 때 취소할 수 있어야 합니다.

감사, 계보 및 관찰성

효과적인 거버넌스 관행은 감사 및 규정 준수를 위해 특히 중요합니다. 감사 및 규정 준수를 위해서는 수행한 작업을 기록하고 의사 결정이 내려진 이유를 설명할 수 있어야 하는 경우가 많습니다. 계보 추적은 어떤 데이터에 액세스했으며 해당 데이터가 어떻게 변환되었는지를 기록하여 책임성을 확보합니다. 이를 통해 AI 에이전트가 따른 데이터 경로를 감사할 수 있습니다. 관찰성은 AI 에이전트 동작을 실시간으로 모니터링하고, 수행하는 작업을 추적하고, 이상을 감지하고, 정책 위반에 플래그를 지정하여 계보를 보완합니다.

데이터 품질

강력한 데이터 거버넌스 관행은 일관되게 높은 품질의 데이터를 위한 기반을 마련합니다. 거버넌스가 데이터 액세스를 효과적으로 관리하기 위한 적절한 프로세스와 정책이 마련되도록 한다면, 데이터 품질은 데이터 자체의 정확성, 신뢰성 및 유용성을 의미합니다. 다단계 추론 체인에서 자율적으로 작동하는 AI 에이전트의 경우, 데이터 품질이 저하되면 연쇄적인 오류가 발생할 수 있습니다. 에이전틱 AI에 대한 데이터 기반을 평가하는 조직은 각 사용 사례와 관련된 완전성, 일관성, 정확성, 관련성 및 적시성과 같은 핵심 차원을 다루는 데이터 품질 프레임워크를 구현하는 것을 고려해야 합니다. 

보안 및 책임

AI 에이전트가 보다 자율적인 의사 결정을 수행함에 따라 기본 데이터 기반의 보안은 더욱 중요해집니다. 조직은 암호화, 네트워크 격리, 액세스 제어 및 위협 탐지를 통해 AI 인프라, 데이터 및 모델을 무단 액세스 및 악의적인 공격으로부터 보호해야 합니다. 

마찬가지로 중요한 것은 AI 에이전트가 책임감 있게 운영되도록 하는 것입니다. 신뢰 가드레일은 AI 에이전트가 유해한 콘텐츠 또는 잘못된 정보를 생성하거나, 민감한 정보를 노출하거나, 할루시네이션을 반환할 위험을 줄이는 데 도움이 됩니다. 이러한 보호 조치는 조직이 규제 및 윤리적 표준을 충족하면서 AI 에이전트를 배포하는 데 도움이 될 수 있습니다.

AI 에이전트는 일반적인 지식만으로도 작동할 수 있지만, 대부분의 조직에서는 조직에 특화된 컨텍스트로 AI 에이전트를 맞춤화하면 더 큰 가치를 얻을 수 있습니다. 이를 통해 AI 에이전트는 비즈니스 내에서 더 나은 결정을 내리고, 정보를 최신 상태로 유지하고, 할루시네이션을 줄일 수 있습니다. 

AI 에이전트를 사용자 지정하는 데 사용되는 도메인별 데이터는 일반적으로 지식 베이스에 있습니다. RAG는 이러한 지식 베이스에서 정보를 검색하고 대규모 언어 모델(LLM) 프롬프트를 강화하여 AI 에이전트가 더 최신의 관련 응답을 생성할 수 있도록 하는 프로세스입니다. RAG 구현은 일반적으로 벡터 임베딩, 즉 문서, 이미지, 지원 문서와 같은 콘텐츠의 의미를 담은 수치 표현에 의존합니다. 정확한 키워드를 일치시키는 대신 임베딩 기반 검색은 문맥적으로 유사한 콘텐츠를 찾아 AI 에이전트가 쿼리하기 어려운 소스에 저장된 방대한 양의 조직 지식을 바탕으로 추론할 수 있도록 합니다.

시맨틱 계층은 AI 에이전트가 비즈니스 로직을 이해할 수 있도록 지원하여 RAG를 보완합니다. 테이블 관계, 비즈니스 지표 및 공유 용어를 정의하여 AI 에이전트가 팀 간에 "수익" 또는 "활성 고객"과 같은 용어를 일관되게 해석할 수 있도록 합니다. 시맨틱 계층은 지표, 로직 및 상호 연결을 매핑하여 의도를 비즈니스 정의로 변환하는 온톨로지 및 지식 그래프, 차원 모델, 테이블 관계 및 지표 정의를 기반으로 구축할 수 있습니다.

컨텍스트는 AI 에이전트가 현재 상황에서 관련성 있는 의사 결정을 내리는 데 도움이 되는 반면, 메모리는 과거를 이해하는 데 도움이 됩니다. LLM은 상태 비저장 방식으로 작동하므로 모든 요청은 이전에 무엇이 있었는지에 대한 기억 없이 전달됩니다. 그 위에 메모리 아키텍처를 추가하지 않으면 AI 에이전트는 추론하고 적응하거나 협업할 수 없으며, 동일한 답을 반복적으로 다시 도출하느라 시간과 리소스를 낭비할 위험이 있습니다. AI 에이전트는 루프(추론하고, 행동하고, 기억하고, 이를 반복)로 작동하므로, 메모리는 불필요한 작업의 반복을 방지하고 반복 작업 전반에서 일관된 진행 상태를 유지하는 역할을 합니다. 컨텍스트와 메모리는 함께 AI 에이전트를 일회성 단일 턴 응답 시스템에서 시간이 지남에 따라 전문성을 축적하는 시스템으로 발전시킵니다.

에이전트 메모리는 연속체 형태로 존재합니다. 단기 메모리는 왼쪽에 위치하며, 지속적으로 빠르게 액세스됩니다. 중기 메모리는 가운데에 위치하며, 에이전트가 필요로 할 때 도구를 통해 검색됩니다. 장기 메모리는 오른쪽에 위치하며, 자주 구성되지 않고 인프라에 더 가깝게 취급됩니다. 각 메모리 유형은 고유한 액세스 패턴, 지연 시간 요구 사항 및 데이터 관리 책임을 갖습니다.

단기 메모리

RAM과 유사한 에이전트의 작업 메모리입니다. 현재 대화 턴, 최신 도구 결과, 다단계 워크플로의 현재 단계, 작업이 완료되면 초기화되는 일시적인 상태를 저장합니다. Strands Agents 및 LangGraph와 같은 프레임워크는 일반적으로 이 계층을 대신 관리하지만, 에이전트가 단일 상호 작용 내에서도 이 메모리에 빈번하게 액세스하므로 기본 스토리지는 마이크로초 수준의 읽기 지연 시간을 제공해야 합니다. 

단기 메모리는 AI 에이전트 간 공유 상태까지 확장됩니다. 여러 AI 에이전트가 협력할 때 공유 파일 시스템을 통해 짧은 지연 시간으로 중간 결과를 교환하고 체크포인트를 유지할 수 있습니다.

중기 메모리

데이터 레이크, 카탈로그, 지식 베이스를 비롯한 기존 데이터 도구 및 시스템과 가장 밀접하게 연결된 계층입니다. 여기에는 AI 에이전트가 실행 중 도구 호출을 통해 검색하는 사실, 관계 및 경험이 포함되며, 대부분의 데이터 준비 작업이 집중되는 계층이기도 합니다. 여기에는 다음이 포함됩니다. 

• 시맨틱 메모리는 해당 지식이 언제 또는 어디에서 습득되었는지와 관계없이 사실, 개념 및 관계에 대한 구조화된 지식을 저장합니다. 이는 AI 에이전트가 처음부터 답을 다시 도출하지 않고도 새로운 상황을 추론하는 데 사용하는 시간에 구애받지 않는 지식 베이스입니다. 데이터베이스, 벡터 스토어, 지식 그래프 및 데이터 웨어하우스는 모두 시맨틱 메모리 백엔드 역할을 합니다. 

• 사용자 프로필 메모리는 선호도, 커뮤니케이션 스타일, 과거 선택, 세션 전반의 동작을 개인화하는 누적 속성을 포함하여 AI 에이전트가 서비스하는 사용자의 지속적으로 유지되는 프로필 정보를 캡처합니다. 

• 에피소드 메모리는 특정 이벤트 및 상호 작용에 대한 타임스탬프가 포함된 기록을 저장합니다. 시맨틱 메모리가 추상적이라면 에피소드 메모리는 구체적입니다. 이를 통해 AI 에이전트는 이전 시스템에서 특정 접근 방식이 실패한 것을 기억하고 이에 따라 조정할 수 있습니다. 이를 통해 AI 에이전트는 지속적인 재학습 없이도 배포 후 경험을 통해 개선될 수 있습니다. 세션 로그, 상호 작용 기록 및 이벤트 스토어는 모두 에피소드 메모리에 정보를 제공합니다. 

단기 메모리와의 중요한 차이점은 중기 메모리가 컨텍스트 창 외부에 존재하며 도구를 통해 액세스된다는 것입니다. AI 에이전트는 정보가 필요할 때를 판단하고 적절한 도구를 호출하므로, 추론 루프가 계속 원활하게 진행되도록 데이터 소스를 검색할 수 있어야 하며 충분히 신속하게 응답할 수 있어야 합니다. 

장기 메모리

가장 적게 변경되며 AI 에이전트의 자아 인식과 의사 결정 방식을 근본적으로 형성하는 계층입니다. 장기 메모리에는 시스템 프롬프트, 가드레일, AI 에이전트의 페르소나에 대한 정의 및 절차적 루틴이 포함됩니다. AI 에이전트가 보험 인수 심사 에이전트 역할을 수행하도록 생성된 경우, 해당 지침과 함께 에이전트가 따라야 하는 규칙, 제약 조건 및 행동상의 경계가 이곳에 저장됩니다. 이 계층에는 절차적 메모리도 포함되며, 절차적 메모리는 각 단계에서 숙고하지 않고도 AI 에이전트가 기본적인 운영 지식을 바탕으로 작업할 수 있도록 기술과 루틴을 인코딩합니다. 장기 메모리 아티팩트는 코드형 인프라로 관리하고 버전 제어 코드 리포지토리, 구성 관리 시스템 또는 키-값 스토어에 저장할 수 있습니다.

기존 애플리케이션 워크플로는 고정적이고 결정론적인 경로를 따릅니다. 사용자가 작업을 완료하면 데이터베이스에 대해 동일한 쿼리 시퀀스가 실행됩니다. 이를 통해 예측 가능한 방식으로 인덱스 튜닝, 결과 캐싱, 용량 예측을 수행할 수 있습니다. 그러나 AI 에이전트는 동일한 작업을 완료할 때마다 다른 경로를 취할 수 있으며, 중간 결과를 바탕으로 추론하는 방식에 따라 다른 쿼리를 선택할 수 있습니다. 이러한 변동성으로 인해 로드를 예측하고 쿼리 패턴을 효과적으로 최적화하는 것이 더 어렵습니다.

경우에 따라 시맨틱 캐시를 사용하여 이 문제를 해결할 수 있습니다. 캐시는 새 호출을 트리거하지 않고 의미상 유사한 요청에 대해 저장된 응답을 반환합니다. 이렇게 하면 비용을 절감하고, 성능을 개선하고, 에이전틱 애플리케이션의 처리량을 늘릴 수 있습니다.

또한 AI 에이전트의 예측 불가능한 동작에 대응하려면 기본 인프라를 자동으로 확장하도록 구축해야 합니다. 서버리스 아키텍처는 리소스를 사전 할당할 필요가 없습니다. 인프라를 최대 용량에 맞춰 설정하는 대신, 수요에 따라 리소스가 수동 개입 없이 자동으로 스케일 업 및 스케일 다운됩니다. 이는 동작이 급증할 수 있으므로 AI 에이전트에게 특히 중요합니다. 작업이 시작되거나, 도구가 호출되거나, 워크플로가 확장되면 활동이 갑자기 급증했다가 다시 0으로 떨어질 수 있습니다. 서버리스 용량은 온디맨드로 사용할 수 있으므로 낭비되는 리소스가 줄어들고 조직은 소비하는 만큼만 비용을 지불합니다.

수요를 충족하기 위한 서버리스 프로비저닝과 더불어, 조직은 지속적인 가동 시간을 지원하기 위해 자동화된 장애 조치 및 중복성을 갖춘 고가용성 인프라를 우선적으로 고려해야 합니다. 이 경우 단일 구성 요소 장애로 인해 AI 에이전트의 작업 완료 기능이 중단되지 않습니다. 

에이전틱 AI를 위한 데이터 기반을 준비하는 것이 이번 10년 동안 가장 중요한 프로젝트일 수 있습니다. 이 가이드의 질문은 상호 운용성, 검색, 데이터 준비, 거버넌스, 컨텍스트, 메모리, 짧은 지연 시간 등 AI 에이전트를 효과적으로 지원하는 데 필요한 데이터 기반의 필수 기능을 나타냅니다. 현재 이러한 모든 것을 완전히 갖춘 조직은 거의 없으며, 이는 당연한 일입니다. 에이전틱 AI를 위한 데이터 기반을 구축하는 것은 진화하는 프로세스이며, 강화하는 각 기능은 AI 에이전트가 제공할 수 있는 가치를 복합적으로 높입니다. AWS는 에이전틱 AI를 위한 데이터 기반을 구축, 확장 및 운영하는 데 도움이 되도록 이러한 각 영역에서 목적에 맞게 구축된 서비스를 제공합니다.

20년 넘게 수백만 명의 고객이 업계 최고 수준의 가격 대비 성능을 갖춘 안전하고 안정적이며 확장 가능한 클라우드 서비스를 제공하는 AWS를 신뢰해 왔습니다. AWS가 에이전틱 AI를 위한 데이터 기반을 지원하는 방법은 다음과 같습니다.

오픈 데이터 아키텍처

AWS는 고객에게 유연성과 최상의 가치를 제공하기 때문에 개방형 표준을 수용합니다. 여기에는 Amazon Aurora 및 Amazon Relational Database Service(Amazon RDS)를 통한 PostgreSQL, Amazon Managed Streaming for Apache Kafka(Amazon MSK)를 통한 Apache Kafka, Amazon OpenSearch Service를 통한 OpenSearch, Amazon EMR을 통한 Apache Spark, Amazon Athena를 통한 Trino가 포함됩니다. AWS는 Amazon S3 Tables를 통한 완전 관리형 테이블 형식 데이터 스토리지를 포함하여 AWS Analytics 스택 전반에 걸쳐 네이티브 Apache Iceberg 지원을 제공하므로, AI 에이전트가 데이터를 다시 포맷하거나 복제하지 않고도 분석 데이터에 상호 운용 가능한 방식으로 액세스할 수 있습니다. 또한 AWS는 MCP 및 A2A를 포함한 개방형 에이전트 프로토콜을 지원하므로 AI 에이전트가 데이터 소스, 도구 및 서로에 연결할 수 있습니다.

“Amazon Web Services와 같은 회사가 오픈 소스 제품을 지원하고 고가용성, 확장 및 전반적인 데이터 관리와 같은 중요한 속성을 관리한다는 아이디어는 엄청납니다.”  

—Raj Cheruvu, BMC AVP R&D, Helix ITSM

에이전틱 AI 스택의 모든 계층을 위해 목적에 맞게 구축된 서비스

이 가이드에서 다루는 데이터 준비부터 메모리 및 짧은 지연 시간 성능에 이르는 기능을 지원하려면 대규모 환경에서도 일관되게 성능을 발휘하는 인프라가 필요합니다. AWS는 검증된 안정성, 확장성 및 가격 대비 성능을 제공하므로, 탄탄한 기반 위에서 구축할 수 있습니다.

AI 에이전트를 위해 데이터가 제대로 준비되도록 AWS Glue는 서버리스 데이터 통합 및 대규모 변환을 제공하며, 여러 소스의 데이터를 간편하게 검색하고 준비하고 이동하고 통합할 수 있도록 지원합니다. AWS Glue의 서버리스 오픈 소스 구성 요소인 AWS Glue Data Quality를 사용하면 데이터 품질을 측정 및 모니터링하고 데이터 파이프라인 내에서 직접 품질 규칙을 적용할 수 있습니다.

거의 실시간으로 데이터를 처리해야 하는 경우, AWS는 엔드 투 엔드 스트리밍 데이터 파이프라인을 구축할 수 있는 다양한 관리형 서비스를 제공합니다. Amazon Kinesis Data Streams 및 Amazon MSK는 처리량이 많은 데이터 수집을 처리하고, Amazon Managed Service for Apache Flink는 스트림 처리를 제공하며, Amazon Data Firehose는 대상에 데이터를 제공하여 조건이 변경되면 AI 에이전트가 고품질의 최신 데이터를 바탕으로 추론할 수 있도록 지원합니다.

컨텍스트를 지원하기 위해 Amazon Aurora, Amazon RDS, Amazon Neptune 및 Amazon ElastiCache for Valkey를 포함한 AWS 데이터베이스는 RAG 검색을 위한 네이티브 벡터 지원을 제공하여 쿼리 시 AI 에이전트에게 빠르고 관련 있는 컨텍스트를 제공합니다. Amazon OpenSearch Service는 에이전틱 AI, 검색 및 분석을 위한 관리형 오픈 소스 검색 엔진을 제공합니다. 벡터, 어휘, 하이브리드 및 에이전틱 검색을 단일 시스템에 결합하여, 짧은 지연 시간으로 연관성이 높은 결과를 페타바이트 규모로 제공합니다.

스토리지 우선 대안의 경우 Amazon S3 Vectors는 벡터 업로드, 저장 및 쿼리의 총 비용을 최대 90% 절감할 수 있으므로 AI 에이전트의 메모리 및 컨텍스트를 개선하는 대규모 벡터 데이터세트를 경제적으로 생성하고 유지할 수 있습니다. 

“AWS의 인프라는 중요한 것에 집중할 수 있는 기반을 제공했습니다. 우리는 사람처럼 추론하는 비디오 AI를 개발했습니다. 단순히 무슨 일이 일어나는지를 이해하는 데 그치지 않고, 그것이 왜 중요한지, 시간의 흐름에 따라 각 순간이 어떻게 연결되는지까지 이해합니다.” 
—Jae Lee, TwelveLabs 공동 창립자 겸 CEO

보는 것이 곧 이해하는 것 – TwelveLabs, S3 Vectors를 활용하여 영상의 잠재력을 전 세계로 확장

AWS Databases 포트폴리오는 메모리 연속체의 세 영역에 걸쳐 있습니다. Amazon ElastiCache for Valkey는 도구 결과 캐싱, 세션 컨텍스트 보존, 일관된 다단계 추론을 유도하는 단기 작업 메모리 유지에 필요한 마이크로초 지연 시간을 에이전틱 AI에 제공합니다. Amazon DynamoDB는 모든 처리량에서 한 자릿수 밀리초의 읽기 지연 시간으로 에피소드 로깅 및 세션 상태 추적의 추가 작업이 많은 쓰기 패턴을 처리합니다. Amazon Aurora 및 Amazon RDS 는 장기 메모리, 특히 다단계 작업 진행 상황 유지에 적합합니다. Amazon Neptune은 관계 순회를 위한 그래프 기반 시맨틱 및 에피소드 메모리를 지원합니다.

AI 에이전트 간 공유 상태를 지원하기 위해, Amazon S3 Files는 Amazon S3의 데이터에 대한 짧은 지연 시간의 파일 시스템 액세스를 제공하여 에이전트가 다중 에이전트 파이프라인 전반에서 중간 결과를 교환하고 체크포인트를 유지할 수 있도록 합니다. 이러한 서비스는 메모리 연속체 전반에서 모든 지연 시간 계층, 쓰기 패턴 및 내구성 요구 사항을 충족하므로, 어떠한 요구 사항도 타협하지 않고 확장 가능한 메모리 아키텍처를 구축할 수 있습니다. Trend Micro가 Amazon Neptune을 사용하여 단기 및 장기 메모리 기능을 갖춘 AI 보안 도우미를 구축한 방법을 알아보세요.

AWS 데이터베이스 서비스는 실시간 워크로드 변화에 맞춰 자동으로 확장하고 적응하도록 설계되어 AI 에이전트가 생성하는 변동적이고 급증하는 워크로드에 적합합니다. Amazon DynamoDB 및 Amazon ElastiCache는 초당 수억 개의 요청에 응답하면서 마이크로초에서 한 자릿수 밀리초 수준의 지연 시간 예산을 달성할 수 있으며, Amazon Aurora는 완전한 PostgreSQL 및 MySQL 호환성을 유지하면서 즉시 확장되어 상용 데이터베이스의 성능, 가용성 및 확장성을 10분의 1 수준의 비용으로 제공합니다.

조직에서 SQL Server나 Oracle과 같은 상용 데이터베이스를 온프레미스에서 실행하거나 Amazon EC2에서 직접 관리하고 있다면, AI에 적합한 데이터 기반을 구축하는 첫 단계는 Amazon RDS로 리프트 앤 시프트 마이그레이션을 수행하는 것입니다. 상용 데이터 자산으로 에이전틱 AI 성공 실현에서는 Amazon RDS가 에이전틱 AI 애플리케이션에 필요한 자동화된 관리, 성능, 신뢰성 및 보안을 제공하는 방법을 설명하며, Amazon RDS의 비즈니스 가치의 IDC 연구에서 RDS로 마이그레이션했을 때 얻을 수 있는 재무적 효과를 보여줍니다. 인터뷰에 참여한 여러 조직에서 3년간 258%의 ROI와 서비스 품질의 측정 가능한 개선 효과가 나타났습니다.

AI를 위한 신뢰할 수 있는 기반

자율적으로 의사 결정을 내리기 위해 데이터를 동적으로 검색하고 액세스하는 AI 에이전트에는 함께 확장되는 거버넌스 및 보안이 필요합니다. AWS는 기본적으로 데이터 암호화를 제공하고 AI 에이전트까지 확장되는 세분화된 액세스 제어를 제공하는 가장 안전한 클라우드 인프라를 목표로 설계되었습니다. AWS 데이터 거버넌스는 적절한 사용자가 적절한 데이터에만 액세스하도록 하며, 액세스 제어를 정책 및 보안 표준에 맞게 적용합니다. 기본 제공 규정 준수 기능은 변화하는 글로벌 규정을 지원하며, 체계적인 검증 프로세스를 통해 신뢰할 수 있는 AI를 위한 적절한 데이터 관리가 유지되도록 합니다. AWS는 가장 민감한 워크로드에서도 사람, AI 에이전트 및 애플리케이션 간에 신뢰할 수 있고 풍부한 컨텍스트를 갖춘 데이터가 안전하게 흐르도록 지원하기 위해 최선을 다하고 있습니다.