Amazon DynamoDB와 Amazon OpenSearch Service와 서비스 zero-ETL 통합 기능 정식 출시

오늘 Amazon DynamoDB와 Amazon OpenSearch Service와 서비스 zero-ETL 통합 기능의 정식 출시합니다. 이를 통해 사용자 지정 코드나 인프라 없이 데이터를 자동으로 복제 및 변환하여 DynamoDB 데이터를 검색할 수 있습니다. 이러한 제로 ETL 통합은 데이터 파이프라인 아키텍처용 코드 작성, 데이터 동기화 유지, 잦은 애플리케이션 변경에 따른 코드 업데이트와 관련된 운영 부담 및 비용을 줄여 사용자가 애플리케이션에 집중할 수 있게 합니다.

이러한 제로 ETL 통합을 통해 Amazon DynamoDB 고객은 이제 전체 텍스트 검색, 퍼지 검색, 자동 완성, 기계 학습을 위한 벡터 검색(ML) 기능 등 Amazon OpenSearch Service의 강력한 검색 기능을 사용하여 사용자 참여를 높이고 애플리케이션 만족도를 높이는 새로운 경험을 제공할 수 있습니다.

이 제로 ETL 통합은 Amazon OpenSearch Ingestion을 사용하여 Amazon DynamoDB 및 Amazon OpenSearch Service 간의 데이터를 동기화합니다. 데이터를 동기화해야 하는 DynamoDB 테이블을 선택하면 Amazon OpenSearch Ingestion은 데이터를 사용할 수 있게 된 후 몇 초 내에 Amazon OpenSearch 관리형 클러스터 또는 서버리스 컬렉션에 데이터를 동기화합니다.

또한 인덱스 매핑 템플릿을 지정하여 Amazon DynamoDB 필드가 Amazon OpenSearch Service 인덱스의 올바른 필드에 매핑되도록 할 수 있습니다. 또한 여러 DynamoDB 테이블의 데이터를 하나의 Amazon OpenSearch Service 관리형 클러스터 또는 서버리스 컬렉션으로 동기화하여 여러 애플리케이션에서 전체적인 인사이트를 얻을 수 있습니다.

제로 ETL 통합 시작하기
몇 번의 클릭만으로 DynamoDB의 데이터를 OpenSearch 서비스에 동기화할 수 있습니다. DynamoDB와 OpenSearch 서비스 간의 통합을 생성하려면 통합 메뉴와 데이터를 동기화하려는 DynamoDB 테이블을 DynamoDB 콘솔의 좌측 창에서 선택합니다.

특정 시점 복구(PITR) 및 DynamoDB Streams 기능을 켜야 합니다. 이 기능을 사용하면 테이블의 항목 수준 변경 사항을 캡처하고 변경 내용을 스트림으로 푸시할 수 있습니다. PITR 활성화를 선택하고 DynamoDB Streams를 내보내기 및 스트림 탭에서 활성화합니다.

PITR 및 DynamoDB 스트림을 활성화한 후 생성을 선택하여 OpenSearch Service 관리형 도메인에 데이터를 복제하는 OpenSearch Ingestion 파이프라인을 계정에 설정합니다.

첫 번째 단계에서는 고유한 파이프라인 이름을 입력하고 파이프라인 용량 및 컴퓨팅 리소스를 설정하여 현재의 수집 워크로드에 따라 파이프라인의 규모를 자동으로 조정합니다.

이제 YAML 파일 형식으로 사전 정의된 파이프라인 구성을 구성할 수 있습니다. 리소스를 탐색하여 파이프라인 구성 빌드에 필요한 정보를 찾아 붙여넣을 수 있습니다. 이 파이프라인은 DyanmoDB 설정의 소스 부분과 OpenSearch Service의 싱크 부분을 결합했습니다.

DynamoDB 테이블에서 데이터를 읽고 OpenSearch 도메인에 쓰는 데 필요한 권한을 가진 여러 IAM 역할(sts_role_arn)을 설정해야 합니다. 그런 다음 OpenSearch Ingestion 파이프라인에서 이 역할을 맡아 데이터를 소스에서 대상으로 옮길 때 항상 올바른 보안 태세를 유지하도록 합니다. 자세한 내용은 AWS 설명서의 Amazon OpenSearch Ingestion에서 역할 및 사용자 설정을 참조하세요.

필수값을 모두 입력한 후 파이프라인 구성을 검증하여 구성이 유효한지 여부를 확인할 수 있습니다. 자세한 내용은 AWS 설명서에서 Amazon OpenSearch Ingestion 파이프라인 생성을 참조하세요.

몇 분 정도 시간을 내어 OpenSearch 수집 파이프라인을 설정하면 DynamoDB 테이블에서 통합이 완료된 것을 확인할 수 있습니다.

이제 OpenSearch 대시보드에서 동기화된 항목을 검색할 수 있습니다.

주요 사항
다음은 이 기능에 대해 알아두어야 할 몇 가지 사항입니다.

• 사용자 지정 스키마 – Amazon DynamoDB에서 OpenSearch Service로 데이터를 쓸 때 OpenSearch Ingestion에서 사용하는 인덱스 매핑과 함께 사용자 지정 데이터 스키마를 지정할 수 있습니다. 이 환경은 Amazon DynamoDB 내 콘솔에 추가되어 OpenSearch Service에서 생성되는 인덱스 형식을 완전히 제어할 수 있습니다.
• 가격 – 기존 기본 구성 요소 비용 외에는 이 기능을 사용하는 데 추가 비용이 들지 않습니다. 참고로 Amazon OpenSearch Ingestion은 Amazon DynamoDB 및 Amazon OpenSearch Service 간의 데이터 복제에 사용되는 OpenSearch Compute Units(OCUs)에 요금을 부과합니다. 또한 이 기능은 변경 데이터 캡처(CDC)에 Amazon DynamoDB Streams을 사용하므로, Amazon DynamoDB Streams에 대한 표준 비용이 발생합니다.
• 모니터링 – DynamoDB 콘솔에서 통합 상태를 확인하거나, OpenSearch 수집 대시보드를 사용하여 파이프라인 상태를 모니터링할 수 있습니다. 또한 Amazon CloudWatch를 사용하여 실시간 지표 및 로그를 제공해서 사용자 정의 임계값 위반 시 알림을 설정할 수 있습니다.

정식 출시
Amazon DynamoDB 제로 ETL 통합과 Amazon OpenSearch Service의 통합은 이제 OpenSearch 수집을 사용할 수 있는 모든 AWS 리전에 상용 출시되었습니다.

자세한 내용은 Amazon OpenSearch Service와 DynamoDB zero-ETL 통합 및 Amazon DynamoDB와 함께 OpenSearch 수집 파이프라인 사용 문서를 참고하시기 바랍니다.

직접 사용해 보시고 Amazon OpenSearch Service용 AWS re:Post 또는 여러분의 AWS Support 연락처를 통해 피드백을 보내주세요.

— Channy