Amazon EMR 7.12, 이제 Apache Iceberg v3 테이블 형식 지원
이제 Apache Iceberg 1.10과 함께 새로운 Apache Iceberg v3 테이블 형식을 갖춘 Amazon EMR 7.12를 사용할 수 있게 되었습니다. 이번 릴리스를 통해 데이터 삭제 시 비용을 절감하고, 행 수준의 변경 사항을 더 효과적으로 추적하여 거버넌스 및 규정 준수를 강화하고, 보다 세분화된 데이터 액세스 제어를 통해 데이터 보안을 강화할 수 있습니다.
Iceberg v3를 사용하면 전체 파일을 다시 쓰지 않고도 Iceberg v3가 삭제된 행을 표시하므로 데이터를 비용 효율적으로 삭제할 수 있으며, 데이터 파이프라인 속도를 높이고 스토리지 비용을 절감할 수 있습니다. 모든 행의 생성 및 수정 기록을 자동으로 추적하고 규제 요구 사항 및 변경 데이터 캡처에 필요한 감사 추적을 생성하여 거버넌스 및 규정 준수 기능을 개선할 수 있습니다. 테이블 수준 암호화를 통해 데이터 보안을 강화함으로써 가장 민감한 데이터에 대한 개인 정보 보호 규정을 준수할 수 있습니다.
이번 릴리스에 포함된 Apache Spark 3.5.6을 통해 이러한 Iceberg 1.10 기능을 활용하여 Amazon S3에 강력한 데이터 레이크하우스 아키텍처를 구축할 수 있습니다. 이번 릴리스에는 AWS Lake Formation을 사용하여 Iceberg 테이블 전반에서 데이터 거버넌스 작업에 대한 지원도 포함됩니다. 또한 이번 릴리스에는 Apache Trino 476도 포함되어 있습니다.
Amazon EMR 7.12는 Amazon EMR을 지원하는 모든 AWS 리전에서 사용할 수 있습니다. Amazon EMR 7.12 릴리스에 대해 자세히 알아보려면 Amazon EMR 7.12 릴리스 설명서를 참조하세요.