게시된 날짜: Nov 22, 2022
Amazon EMR Serverless는 Spark 및 Hive 워크플로를 통해 Amazon DynamoDB에서 데이터 읽기 및 쓰기를 지원한다는 소식을 발표합니다. 이제 EMR Serverless Spark 및/또는 Hive 애플리케이션에서 직접 Amazon DynamoDB의 테이블을 내보내고, 가져오고, 쿼리하고, 조인할 수 있습니다. Amazon DynamoDB는 완전관리형 NoSQL 데이터베이스로, 원활한 처리량 및 스토리지 확장성과 함께 한 자리 수 밀리초의 지연 시간과 예측 가능한 성능을 제공하여 매우 까다로운 애플리케이션의 지연 시간 및 처리량 요구 사항을 충족합니다.
AWS 사용자는 다운스트림 분석을 위해 Amazon DynamoDB에 저장된 데이터를 효율적으로 대규모로 처리해야 하는 경우가 많습니다. Amazon EMR 팀은 고객이 Apache Spark 및 Apache Hive 애플리케이션을 사용하여 Amazon DynamoDB에 대한 액세스 및 구성을 간소화할 수 있도록 지원하기 위해 emr-dynamodb-connector를 빌드하고 오픈 소스로 만들었습니다. 이 커넥터는 Amazon DynamoDB에서 데이터를 효율적으로 처리하거나 Amazon DynamoDB의 테이블을 Amazon S3, Amazon RDS 또는 Amazon EMR Serverless에서 액세스할 수 있는 기타 데이터 스토어의 외부 테이블과 결합하는 등 여러 분석 사용 사례를 지원합니다. Amazon EMR 릴리스 6.9를 사용하면 Amazon EMR Serverless 애플리케이션에서 Amazon DynamoDB 커넥터의 모든 이점을 얻을 수 있습니다. 교차 리전 및 크로스 계정 액세스 Amazon DynamoDB 테이블을 모두 사용할 수 있습니다.
또한 EMR Serverless가 Spark 및 Hive 애플리케이션의 데이터를 처리할 수 있도록 다른 AWS 계정의 특정 Amazon S3 버킷에 대한 액세스를 지원한다는 기쁜 소식을 알려드립니다. AWS 고객은 여러 AWS 계정을 사용하여 서로 다른 프로젝트 또는 비즈니스 라인을 더 잘 구별할 수 있습니다. 크로스 계정 기능을 사용하면 중앙 집중식 접근 방식을 통해 여러 계정에 분산된 데이터 레이크를 보호하고 관리하는 작업이 간소화됩니다. Amazon S3에 대한 크로스 계정 액세스를 통해 AWS 계정에서 EMR Serverless Spark 또는 Hive 애플리케이션을 사용하고 처리를 위해 다른 AWS 계정의 특정 버킷에 저장된 데이터에 액세스할 수 있습니다.
이러한 기능은 이제 모든 EMR Serverless 리전에서 사용할 수 있습니다. 자세히 알아보려면 Amazon EMR Serverless 설명서를 참조하세요.