AWS, Apache Iceberg V3 삭제 벡터 및 행 계보 지원 발표
AWS는 이제 Apache Iceberg Version 3(V3) 사양에 정의된 삭제 벡터 및 행 계보를 지원합니다. 이러한 새로운 기능은 Amazon EMR 7.12의 Apache Spark, AWS Glue, Amazon SageMaker 노트북, Amazon S3 Tables, AWS Glue Data Catalog에서 사용할 수 있습니다.
이러한 Iceberg V3 기능을 이용하면 고객은 페타바이트 규모의 데이터 레이크를 구축하여 데이터 수정 성능을 개선하고 변경된 레코드를 쉽게 추적할 수 있습니다. 삭제 벡터는 최적화된 삭제 파일을 작성하여 데이터 파이프라인의 속도를 높이고 데이터 압축 비용을 줄입니다. 행 계보는 각 레코드에 메타데이터 필드를 제공하여 간단한 SQL 쿼리로 변경 사항을 추적할 수 있게 합니다. 따라서 큰 테이블에서 작은 변경 사항을 찾는 데 드는 계산 비용을 절약할 수 있습니다.
Spark 또는 SageMaker 노트북의 CREATE TABLE 명령어에서 테이블 속성을 'format-version = 3'으로 설정하여 V3 테이블 생성을 시작하세요. 기존 테이블을 업그레이드하려면 메타데이터의 테이블 속성을 새 형식 버전으로 업데이트하기만 하면 됩니다. 이렇게 하면 V3를 지원하는 AWS 쿼리 엔진이 자동으로 삭제 벡터와 행 계보를 사용하기 시작합니다.
이제 Iceberg V3 삭제 벡터 및 행 계보를 관련된 각 서비스 및 기능(Amazon EMR, AWS Glue, SageMaker 노트북, S3 Tables, AWS Glue Data Catalog)이 지원되는 모든 AWS 리전에서 사용할 수 있습니다. Iceberg V3에 대한 AWS 지원에 대해 자세히 알아보려면 Apache Iceberg V3 on AWS를 방문해 블로그 게시물을 읽어보세요.