Amazon Redshift, 이제 Apache Iceberg v3 테이블 지원
이제 Amazon Redshift가 데이터 레이크에 있는 Apache Iceberg v3 테이블 읽기 및 쓰기를 지원합니다. Apache Iceberg는 개방형 테이블 형식이며 v3 릴리스에는 몇 가지 새로운 기능이 추가되었습니다. Amazon Redshift는 이번 출시를 통해 기본 열 값, 행 계보, 삭제 벡터에 대한 지원을 도입했습니다.
기본 열 값을 사용하면 값이 제공되지 않을 때 Amazon Redshift에서 적용할 초기 값을 정의할 수 있으므로 기존 테이블에 열을 추가할 때 스키마를 간소화할 수 있습니다. 행 계보는 각 행의 ID와 마지막으로 업데이트된 시퀀스 번호를 추적하는 의사 열을 노출하므로 수정된 행만 처리하는 증분식 파이프라인과 CDC(변경 데이터 캡처) 워크플로를 구축할 수 있습니다. 삭제 벡터는 Iceberg v2의 위치 삭제 파일을 압축된 간결한 비트맵으로 대체하여 규정 준수 기반 레코드 제거처럼 빈번한 업데이트 및 삭제 워크로드에 대해 더 빠른 읽기 및 쓰기를 제공합니다. CREATE TABLE <table> ... USING ICEBERG TABLE PROPERTIES('format-version' = '3')로 v3 테이블을 생성하거나, ALTER TABLE <table> SET TABLE PROPERTIES('format-version' = '3')로 기존 v2 테이블을 인플레이스 업그레이드할 수 있습니다.
Amazon Redshift의 Graviton 기반으로 프로비저닝된 클러스터와 서버리스 클러스터는 새로운 v3 형식을 지원합니다. 자세한 내용을 알아보려면 Amazon Redshift 설명서의 Apache Iceberg v3 기능을 참조하세요.