Amazon DynamoDB 통합

Amazon DynamoDB를 사용하면 워크로드를 Amazon DynamoDB Accelerator(DAX)와 쉽게 통합하여 성능을 최대 10배 개선하고, 실시간 검색 및 분석 기능을 지원하는 Amazon OpenSearch Service 및 기타 다양한 AWS 서비스와 쉽게 통합할 수 있습니다. DynamoDB는 사용 사례 요구 사항을 충족하는 광범위한 AWS 서비스와 통합 가능한 유연성을 제공합니다.

Amazon DynamoDB Accelerator(DAX)는 Amazon DynamoDB를 위해 구축된 고가용성의 완전관리형 캐싱 서비스입니다. DAX는 초당 수백만 건의 요청 속도에서도 밀리초에서 마이크로초까지 최대 10배 향상된 성능을 제공합니다. DAX는 모든 캐시 무효화 및 데이터 채우기를 관리하여 DynamoDB 테이블에 인 메모리 가속화를 추가합니다. DAX는 인라인 캐시이므로 캐시된 항목이 존재하지 않거나 오래된 경우 DAX는 자동으로 기본 테이블로 전달됩니다.

이제 대규모 성능에 대한 걱정 없이 고객을 위해 우수한 애플리케이션을 개발하는 데 집중할 수 있습니다. DAX는 기존 DynamoDB API 호출과 호환되므로 애플리케이션을 변경할 필요가 없어 쉽게 시작할 수 있습니다. 

Amazon OpenSearch Service와 제로 ETL 통합된 Amazon DynamoDB는 DynamoDB에서 OpenSearch Service로 거의 실시간으로 복제할 수 있는 노코드 완전 관리형 ETL 파이프라인을 제공합니다. 이러한 제로 ETL 통합을 통해 고객은 몇 초 내에 DynamoDB의 데이터를 OpenSearch Service로 원활하게 동기화할 수 있으므로 추출, 전환, 적재(ETL) 작업용으로 복잡한 데이터 파이프라인을 구축 및 유지 관리하는 사용자 지정 코드를 작성할 필요가 없습니다. 이러한 통합을 통해 트랜잭션 데이터베이스와 검색 데이터베이스 간에 데이터를 동기화하는 데 드는 운영 부담과 비용이 줄어들어 고객은 핵심 비즈니스 문제에 집중할 수 있습니다. 

DynamoDB 콘솔의 통합 탭에서 첫 파이프라인을 빠르게 생성할 수 있습니다. 이 통합은 Amazon OpenSearch Ingestion 파이프라인을 활용하여 DynamoDB 데이터를 특정 OpenSearch Service 인덱스로 변환, 라우팅 및 매핑하는 작업을 정의하고 처리합니다.

이 제로 ETL 통합을 통해 전체 텍스트 검색, 지리 공간 검색, 벡터 검색 등을 위한 색인을 쉽게 생성할 수 있습니다. OpenSearch Service 검색 및 집계는 DynamoDB 쿼리와 함께 작동하여 대화형 고성능 애플리케이션을 지원합니다. DynamoDB 고객은 이제 OpenSearch Service의 광범위한 검색 및 기계 학습 기능을 활용하여 사용자 참여를 증진하고 애플리케이션에 대한 만족도를 높이는 새로운 경험을 제공할 수 있습니다. 이 제로 ETL 튜토리얼에서 자세히 알아보세요.

Amazon DynamoDB용 AWS Lambda 트리거를 사용하면 DynamoDB의 항목 변경에 대한 응답으로 실행할 사용자 지정 로직을 쉽게 설정할 수 있습니다. DynamoDB 스트림을 활성화한 후 DynamoDB 콘솔의 내보내기 및 스트림 탭에서 첫 번째 트리거를 빠르게 생성할 수 있습니다. 트리거를 구성한 다음, 테이블의 데이터가 변경된 후 몇 초 내에 Lambda 코드를 트리거할 수 있습니다.

DynamoDB용 AWS Lambda 트리거를 사용하면 데이터베이스 트리거를 쉽게 구축하여 데이터를 검증 및 강화하고, 데이터를 복제하여 다른 서비스와 통합하거나 DynamoDB 테이블의 데이터 수정에 반응하는 완전 이벤트 기반 아키텍처(예: 주문 처리 또는 미디어 처리)를 구축할 수 있습니다. Lambda 함수는 알림 보내기, 워크플로 시작과 같이 사용자가 지정하는 작업을 실행할 수 있습니다.  

DynamoDB와 OpenSearch Service의 제로 ETL 통합은 트랜잭션 데이터 스토어에서 검색 데이터 스토어로의 데이터 복제를 조정하는 데 따르는 운영 복잡성을 간소화합니다. 트랜잭션 및 검색 데이터 스토어를 동기화하는 데 사용되는 데이터 파이프라인은 구축 및 관리가 어렵고 비용이 많이 들며 추적하기 어려운 오류가 간헐적으로 발생할 수 있습니다. 

본 통합 기능을 통해 Amazon DynamoDB 고객은 DynamoDB의 트랜잭션 데이터를 작성한 후 몇 초 만에 OpenSearch Service에서 사용할 수 있도록 하는 완전 관리형 솔루션을 제공함으로써 트랜잭션 데이터에서 거의 실시간으로 검색 결과를 얻을 수 있습니다. 고객이 OpenSearch Service로 분석하려는 데이터가 포함된 DynamoDB 테이블을 선택하기만 하면 본 제로 ETL 통합이 OpenSearch Ingestion 파이프라인을 사용하여 스키마와 데이터를 OpenSearch Service에 원활하게 복제합니다. 고객은 여러 DynamoDB 테이블의 데이터를 단일 OpenSearch Service 관리형 도메인 또는 서버리스 컬렉션으로 복제하여 여러 애플리케이션에서 전체적인 인사이트를 도출하는 동시에 핵심 분석 자산을 통합하여 비용을 크게 절감하고 운영 효율성을 높일 수 있습니다. 

고객은 DynamoDB, OpenSearch Service, AWS CLI, AWS SDK 또는 AWS CloudFormation용 AWS Management Console을 사용하여 시작할 수 있습니다. 통합을 활성화하려면 고객은 먼저 데이터를 복제해야 하는 DynamoDB 테이블을 선택합니다. 그런 다음 고객은 CDC 메커니즘으로 DynamoDB 스트림(거의 실시간 복제 목적) 또는 DynamoDB 증분 내보내기(지연된 복제 목적)를 선택하여 두 시스템 간의 데이터를 동기화합니다. 

이러한 제로 ETL 통합은 고객 계정에 OpenSearch Service 관리 클러스터 또는 서버리스 컬렉션에 데이터를 복제하는 OpenSearch Ingestion 파이프라인을 설정합니다. OpenSearch Ingestion은 DynamoDB 테이블의 구조를 이해한 후 이에 상응하는 OpenSearch Service의 관리형 도메인 또는 서버리스 컬렉션을 생성하고 DynamoDB 테이블의 기존 데이터로 대상을 부트스트랩합니다. 선택적으로 고객은 OpenSearch Service에서 생성될 인덱스의 스키마를 지정할 수 있습니다. 

이 제로 ETL 통합은 Amazon CloudWatch의 실시간 지표 및 로그를 사용하여 엔드 투 엔드 통합 상태를 모니터링할 수 있는 대시보드를 제공합니다. 사용자 정의한 임계값 위반 시 경보를 설정할 수 있습니다. 또한 이 통합은 DynamoDB 테이블 및 OpenSearch Service 인덱스의 상태를 지속적으로 모니터링하고 해당 엔터티로 회귀가 발생하는 경우 사용자에게 즉시 알립니다.

OpenSearch Ingestion이 두 시스템에서 데이터를 복제하는 데 필요한 권한을 갖도록 하기 위해 OpenSearch Service와 제로 ETL 통합된 DynamoDB는 DynamoDB 테이블에서 데이터를 읽고 OpenSearch 도메인 또는 컬렉션에 쓰는 데 필요한 권한을 가진 IAM 역할이 생성됩니다. 그런 다음 OpenSearch Ingestion 파이프라인에서 해당 역할을 맡아 데이터를 소스에서 대상으로 이동할 때 항상 올바른 보안 태세를 유지하도록 합니다.

이 제로 ETL 통합은 OpenSearch Ingestion 파이프라인의 기본 데이터 변환 기능을 사용하여 데이터가 이동 중인 동안 데이터를 집계하고 필터링합니다. DynamoDB 테이블에서 데이터를 이동할 때 고객은 필드를 몇 개 삭제하거나 기존 필드의 집계를 기반으로 새 필드 생성을 원할 수 있습니다. 

선택적으로 고객은 OpenSearch Ingestion에 대한 사용자 지정 로직을 작성하여 맞춤형 변환 기능을 구현할 수도 있습니다. 전체 데이터를 소스에서 싱크로 이동하려는 다른 사용자를 위해 이 제로 ETL 통합은 즉시 사용 가능한 OpenSearch Ingestion 청사진을 제공하므로 버튼 클릭 몇 번으로 통합을 수행할 수 있습니다.

이러한 제로 ETL 통합은 고객에게 DynamoDB에서 OpenSearch Service로 데이터를 작성할 때 OpenSearch Ingestion에서 사용하는 인덱스 매핑과 함께 사용자 지정 데이터 스키마를 지정할 수 있는 옵션을 제공합니다. 이 경험은 DynamoDB 내 UI 콘솔에 추가되어 고객이 OpenSearch Service에서 생성되는 인덱스 형식을 완전히 제어할 수 있도록 합니다.

기존 기본 구성 요소 비용 외에 OpenSearch Service와 제로 ETL 통합된 DynamoDB 사용에 드는 추가 비용은 없습니다. 이 제로 ETL 통합은 Amazon OpenSearch Ingestion을 사용하여 DynamoDB 테이블의 데이터를 읽고 OpenSearch Service에 복제합니다. OpenSearch Service와 제로 ETL 통합된 DynamoDB 비용은 OpenSearch Ingestion이 시스템 전체에 데이터를 복제하는 데 필요한 OpenSearch 컴퓨팅 유닛(OCU) 비용입니다. 또한 고객은 CDC의 선택 사항으로 DynamoDB 스트림 또는 증분 내보내기를 선택할 수 있습니다. 증분 내보내기의 경우 S3 버킷에 데이터를 작성하는 비용이 발생합니다. DynamoDB 스트림의 경우 고객에게 DynamoDB 스트림 사용에 대한 표준 요금이 청구됩니다.

OpenSearch Service와 제로 ETL 통합된 DynamoDB는 교차 계정 데이터 수집이 가능합니다. 사용자는 한 계정의 DynamoDB 테이블에서 데이터를 읽고 다른 계정의 OpenSearch Service 도메인 또는 서버리스 컬렉션에 작성할 수 있습니다. OpenSearch Ingestion은 이미 Amazon S3 버킷 및 Amazon MSK 클러스터와 같이 데이터를 읽는 다른 소스와의 교차 계정 수집을 허용하고 있으며, 동일한 IAM 패러다임을 사용하여 Amazon DynamoDB 테이블에 대한 교차 계정 액세스를 활성화할 예정입니다.

Amazon OpenSearch Service와 DynamoDB 제로 ETL 통합된 DynamoDB는 현재 OpenSearch Ingestion이 상용화된 모든 리전에서 사용할 수 있습니다.