생성형 AI 및 기계 학습
그래프를 사용해야 하는 이유
그래프 검색 증강 생성(GraphRAG)은 그래프 분석과 벡터 검색의 성능을 모두 활용하여 AI 응답의 정확성, 포괄성, 설명 가능성을 향상시킴으로써 RAG의 수준을 한 단계 끌어올립니다. GraphRAG는 문서 청크가 포함된 섹션 또는 제목과 같은 데이터의 엔터티 또는 구조적 요소 간의 관계를 활용하여 가장 관련성이 높은 데이터를 RAG 애플리케이션에 입력으로 제공함으로써 이를 달성합니다. 관련 엔터티 또는 주제 간의 멀티홉 연결을 설정하고 이러한 사실을 사용하여 생성형 응답을 보강할 수 있습니다.
Amazon Neptune 기능
1. GraphRAG
Amazon은 GraphRAG 애플리케이션을 생성하고 실행할 수 있는 완전관리형 및 자체 관리형 옵션을 제공합니다.
- 완전관리형: Amazon Bedrock Knowledge Bases는 세계 최초의 완전관리형 GraphRAG 기능을 제공합니다. 그래프와 임베딩의 생성 및 유지 관리를 자동으로 관리하므로 고객이 최종 사용자에게 보다 관련성 높은 응답을 제공할 수 있습니다. 이 기능을 사용하면 청킹 전략 생성, LLM 및 벡터 저장소와의 복잡한 RAG 통합 등, 심층적인 그래프 전문 지식 없이도 관련 작업을 수행할 수 있습니다.
- 자체 관리형: 자체적으로 호스팅하거나 사용자 지정 데이터 소스/서드 파티 제품(파운데이션 모델, 벡터 저장소, 데이터 저장소)에 연결하려는 경우 두 가지 방법으로 연결할 수 있습니다.
- AWS GraphRAG Python 도구 키트: 새로운 오픈 소스 GraphRAG 도구 키트는 최신 파운데이션 및 그래프 모델을 지원합니다. 비정형 데이터로부터 그래프 생성을 자동화하고 사용자 질문에 답할 때 이 그래프를 쿼리하기 위한 프레임워크를 제공합니다.
- 오픈 소스 프레임워크: Neptune은 LangChain 및 LlamaIndex와의 통합을 통해 GraphRag 애플리케이션 생성을 간소화합니다. 따라서 Amazon Bedrock에서 지원하는 것과 같은 LLM을 사용하여 애플리케이션을 손쉽게 구축할 수 있습니다. AWS는 이 두 가지 인기 있는 오픈 소스 프로젝트 모두에 참여하며 지원하고 있습니다.
2. 기계 학습
- Neptune Machine Learning(ML): Neptune ML은 그래프 데이터에 ML 모델을 자동으로 생성하고 훈련하고 적용합니다. Deep Graph Library(DGL)를 사용하여 워크로드에 가장 적합한 ML 모델을 자동으로 선택하고 훈련시키므로 그래프 데이터에 대한 ML 기반 예측을 몇 주가 아닌 몇 시간 만에 수행할 수 있습니다.
- 그래프용 자연어 쿼리 생성: Gremlin이나 Cypher와 같은 쿼리 언어에 익숙하지 않은 경우NeptuneOpenCypherQAChain을 사용한 Neptune 통합 기능을 통해 자연어로 Neptune 그래프 데이터베이스에 대한 쿼리를 실행할 수 있습니다. 예를 들어 영어 질문을 openCypher 쿼리로 변환하고 사람이 읽을 수 있는 응답을 반환할 수 있습니다. 이 체인을 사용하여 “가장 긴 출발 노선과 가장 짧은 출발 노선이 있는 미국 공항은 어디입니까?”와 같은 질문에 답할 수 있습니다.
사용 사례
GraphRAG는 IT 서비스 데스크 및 콜센터를 개선하는 데 사용할 수 있습니다. 예를 들어, GraphRAG를 사용하면 보안 운영 센터(SOC) 팀이 경고를 더 정확하게 해석하여 중요한 시스템을 보호할 수 있습니다. 의료 서비스 가입자 지원 챗봇은 방대한 의학 문헌에서 관련 정보를 빠르게 검색하여 환자의 증상, 치료 및 결과에 대한 복잡한 질문에 답할 수 있습니다.
GraphRAG 애플리케이션은 재무 계획 및 회계(FP&A), 마케팅, 법률, HR 등과 같은 기업 기능에서 심층적인 인사이트를 팀에 제공할 수 있습니다. 예를 들어, 기업 법무 팀은 세법, 규정, 판례에 대한 정보를 보다 효과적으로 찾아 소송 전략을 구상할 수 있습니다. 마케팅 팀은 잠재 고객의 소셜 연결 및 구매 내역을 기반으로 Customer 360 뷰를 생성할 수 있습니다.
각 산업에서 기업들이 GraphRAG의 이점을 누리고 있습니다. 예를 들어 제약 산업에서 R&D 팀은 GraphRAG를 사용하여 약물 연구 및 임상 시험의 속도를 높일 수 있습니다. 투자 은행 분야에서 GraphRAG는 복잡한 관계를 매핑하고 기업 제출 서류를 전체적으로 파악할 수 있는 기능을 제공합니다. 그러므로 실사 팀은 RAG를 사용하여 쉽게 파악하기 어려운 규제권 및 경쟁 역학과 같은 인사이트를 발견할 수 있습니다.
시작하기
다음과 같은 다양한 방법으로 시작할 수 있습니다.
- AWS GraphRAG 도구 키트
- GraphRAG 샘플 솔루션
- AWS CloudFormation을 사용한 Neptune ML 퀵 스타트 템플릿
- 자연어를 사용하여 Amazon Neptune 및 LangChain에서 그래프 쿼리를 단순화(데모)
- 설명서: 그래프 기반 기계 학습을 위한 Amazon Neptune ML