Amazon S3, Apache Iceberg 테이블에 대한 정렬 및 z-order 압축 지원
이제 Amazon S3는 Apache Iceberg 테이블에 대한 정렬 및 z-order 압축을 지원하며, 이는 Amazon S3 Tables과 범용 S3 버킷에서 AWS Glue Data Catalog 최적화를 통해 사용할 수 있습니다. Iceberg 테이블의 정렬 압축은 쿼리 엔진이 스캔해야 하는 데이터 파일 수를 최소화하여, 쿼리 성능을 향상시키고 비용을 절감합니다. Z-order 압축은 여러 열을 동시에 쿼리할 때 효율적인 파일 프루닝을 통해 추가적인 성능 이점을 제공합니다.
S3 Tables는 완전관리형 경험을 제공하며, 테이블 메타데이터에 정렬 순서가 정의되어 있는 경우 압축 중에 열에 계층적 정렬이 자동으로 적용됩니다. 여러 개의 쿼리 조건을 동일한 우선순위로 처리해야 할 경우, S3 Tables 유지 관리 API를 통해 z-order 압축을 활성화할 수 있습니다. 범용 S3 버킷에서 Iceberg 테이블을 사용하는 경우, AWS Glue Data Catalog 콘솔에서 최적화를 활성화하고 원하는 압축 방법을 지정할 수 있습니다.
이러한 추가 압축 기능은 S3 Tables 또는 AWS Glue Data Catalog 최적화가 지원되는 모든 AWS 리전에서 사용할 수 있습니다. 자세한 내용은 AWS 뉴스 블로그와 S3 Tables 유지 관리 설명서, AWS Glue Data Catalog 최적화 설명서에서 확인하세요.