게시된 날짜: Jul 7, 2023
이제 AWS Glue 크롤러가 Apache Iceberg 테이블을 지원함에 따라 AWS Glue 데이터 카탈로그를 Iceberg 테이블의 카탈로그로 도입하고 다른 Iceberg 카탈로그에서 마이그레이션하는 작업이 간소화되었습니다. Apache Iceberg는 쿼리 성능을 유지하는 동시에 변화하는 데이터 집합을 지속적으로 관리하는 등 데이터 엔지니어가 복잡한 과제를 관리하는 데 도움이 되는 데이터 레이크에 저장된 데이터를 위한 오픈 소스 테이블 형식입니다. 오늘 출시를 통해 Glue 크롤러를 실행하여 Iceberg 테이블을 Glue 카탈로그에 자동으로 등록할 수 있습니다. 그런 다음 다양한 분석 엔진에서 Glue 카탈로그 Iceberg 테이블을 쿼리하고 Amazon Athena에서 쿼리할 경우 Lake Formation의 세분화된 권한을 적용할 수 있습니다.
다른 Iceberg 카탈로그에서 마이그레이션하는 경우 Glue 크롤러를 생성 및 예약하고 Iceberg 테이블이 있는 위치에 하나 이상의 Amazon S3 경로를 제공할 수 있습니다. Glue 크롤러가 통과할 수 있는 S3 경로의 최대 깊이를 제공하는 옵션이 있습니다. 실행할 때마다 Glue 크롤러는 스키마 정보를 추출하고 스키마 변경 사항으로 Glue 카탈로그를 업데이트합니다. Glue 크롤러는 스냅샷 전반의 스키마 병합을 지원하고 AWS 분석 엔진이 직접 사용할 수 있는 Glue 카탈로그의 최신 메타데이터 파일 위치를 업데이트합니다.
Iceberg 테이블에 대한 AWS Glue 크롤러의 지원은 AWS Glue가 제공되는 모든 상업 리전에서 사용할 수 있으며, 자세한 내용은 AWS 리전 테이블을 참조하세요. 자세히 알아보려면 AWS Glue 크롤러 설명서를 참조하세요.