Amazon EMR, S3A를 기본 커넥터로 채택
AWS는 Amazon EMR에서 Apache Hadoop, Apache Spark, Apache Hive 워크로드의 성능을 최적화하는 새로운 Amazon S3 커넥터인 Amazon EMR S3A를 발표했습니다. 이 새로운 커넥터는 오픈 소스 S3A 아키텍처에 AWS 전용 최적화를 더해, 조직이 대규모 데이터를 보다 효율적으로 처리할 수 있도록 지원합니다. S3 Express One Zone, S3 Glacier, AWS Outposts와의 직접 통합을 지원하여, EMR S3A는 고객이 다양한 AWS 스토리지 옵션을 활용하여 EMR 워크로드에서 데이터 액세스 속도와 스토리지 비용을 최적화할 수 있게 합니다.
또한 EMR S3A 커넥터는 오픈 소스 S3A를 넘어서는 고급 보안 기능과 성능을 제공합니다. 주요 개선 사항으로는 Apache Spark에서 기본 제공하는 세분화된 액세스 제어 지원, 향상된 S3A 자격 증명 확인, 최적화된 파일 쓰기를 위한 MagicCommitter V2, 컬럼형 파일 형식에 대한 S3 접두사 목록 조회 가속화 등을 들 수 있습니다. 이러한 개선 사항은 EMR 릴리스 7.10부터 제공되며, 기존 애플리케이션과의 호환성도 유지됩니다.
Amazon EMR S3A 커넥터는 Amazon EMR이 제공되는 모든 AWS 리전에서 사용할 수 있으며, Amazon EMR 릴리스 버전 7.10 이상에 사전 구성되어 제공됩니다. Amazon EMR S3A에 대한 자세한 내용은 Amazon EMR 설명서를 참조하세요.