Amazon OpenSearch Service, Amazon S3에 지능형 로그 및 문서 수집 도입
Amazon OpenSearch Serverless는 이제 Amazon S3에 저장된 로그와 문서를 Amazon OpenSearch Serverless(NextGen) 컬렉션에서 검색 가능한 콘텐츠로 변환하는 완전 관리형 기능인 지능형 수집을 제공합니다. 지능형 통합을 사용하면 관리할 수집 인프라 없이 AWS Management Console에서 클릭 몇 번으로, 또는 단일 API 호출로 수집을 설정할 수 있습니다. 지능형 수집은 JSON, NDJSON, JSON 배열 형식의 정형 데이터와 관찰성 로그 및 PDF, Word, 일반 텍스트, 마크다운 형식의 비정형 파일을 지원합니다.
S3 소스와 컬렉션 인덱스를 선택하면 지능형 수집이 나머지를 처리합니다. 자동으로 데이터 유형을 탐지하고, 문서를 파싱하고, 이미지를 설명하고, 텍스트를 청킹하고, 벡터 임베딩을 생성하고, 결과를 인덱싱합니다. 수집 또는 문서 처리 인프라를 관리하거나 용량을 미리 조정할 필요가 없습니다. 마이그레이션과 백필 같은 일회성 로드에는 수집 작업을, 버킷에 새로운 객체가 도착하는 대로 인덱스 동기화를 유지하려면 수집 스트림을 사용하세요. 컬렉션에 구성된 제한까지 워크로드에 따라 용량 규모가 조정되며 활성 처리 비용만 지불하면 됩니다. 소스 S3 버킷은 컬렉션과 동일한 AWS 계정이나 다른 계정에 있을 수 있습니다.
로그와 정형 데이터의 경우, 지능형 수집은 파이프라인 코드 없이 변환을 적용하고 선택적으로 임베딩을 추가합니다. 비정형 데이터의 경우 PDF, Word, 일반 텍스트, 마크다운 파일을 분석할 때 제목, 읽기 순서, 표의 구조를 그대로 유지하며, 이 콘텐츠는 시맨틱 검색과 하이브리드 검색에 쓰일 수 있는 인덱스에 반영됩니다. 문서에 차트, 다이어그램, 스크린샷 또는 사진이 포함되어 있을 경우 비전-언어 모델이 텍스트 설명을 생성하며, 주변 콘텐츠와 함께 인덱싱되어 시각적 정보도 검색할 수 있게 됩니다.
지능형 수집은 현재 7개 AWS 리전에서 Amazon S3를 소스로 사용하는 Amazon OpenSearch Serverless(NextGen) 컬렉션에 사용할 수 있습니다. 시작하려면 Amazon OpenSearch Service 콘솔을 열고 컬렉션을 선택한 다음 Ingestion 탭을 선택합니다. 자세한 내용은 Amazon OpenSearch Service 개발자 안내서에서 지능형 수집을 참조하세요. 요금은 Amazon OpenSearch Service 요금을 참조하세요.