AWS Glue, Apache Iceberg 카탈로그를 위한 카탈로그 페더레이션 발표
AWS Glue는 원격 Iceberg 카탈로그를 위한 카탈로그 페더레이션을 정식 출시한다고 발표했습니다. 이 기능을 사용하면 AWS 분석 엔진을 사용하여 Amazon S3에 저장되고 원격 카탈로그에 등록된 Iceberg 테이블에 직접적이고 안전하게 액세스할 수 있습니다.
카탈로그 페더레이션을 사용하면 테이블을 이동하거나 복사하지 않고도, 원하는 AWS 분석 엔진을 사용하여 원격 Iceberg 카탈로그에 페더레이션하고 원격 Iceberg 테이블을 쿼리할 수 있습니다. 데이터 팀이 원격 테이블을 쿼리할 때 AWS Glue Data Catalog와 원격 카탈로그에서 실시간으로 메타데이터를 동기화하기 때문에, 쿼리 결과가 항상 최신 상태로 유지됩니다. 사용자는 이제 선호하는 AWS 분석 엔진을 사용하여 원격 Iceberg 테이블을 분석할 때는 워크로드에 가장 적합한 가격 대비 성능을 선택하고, 데이터를 검색하거나 쿼리할 때는 일관된 보안 제어를 유지할 수 있습니다. 카탈로그 페더레이션은 Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue를 비롯한 다양한 분석 엔진과 Apache Spark 같은 타사 엔진, 그리고 서버리스 노트북을 지원하는 Amazon SageMaker에서 지원됩니다.
카탈로그 페더레이션은 액세스 제어에 AWS Lake Formation을 사용하므로, 원격 카탈로그 테이블을 다른 데이터 소비자와 공유할 때 세분화된 액세스 제어, 계정 간 공유 및 신뢰할 수 있는 자격 증명 전파 기능을 활용할 수 있습니다. 카탈로그 페더레이션은 Iceberg REST 사양을 지원하는 카탈로그 구현과 통합됩니다.
카탈로그 페더레이션은 Lake Formation 콘솔에서 제공되며 AWS Glue 및 Lake Formation SDK와 API를 통해 사용할 수 있습니다. 이 기능은 AWS Glue와 Lake Formation이 제공되는 모든 AWS 상용 리전에서 정식 버전으로 사용할 수 있습니다. 사용자는 콘솔에서 클릭 몇 번 만으로 원격 카탈로그로 페더레이션하고, 관련 데이터베이스와 테이블을 탐색하며, 테이블 데이터 액세스 권한을 부여하고, AWS 분석 엔진을 사용하여 원격 Iceberg 테이블을 쿼리할 수 있습니다. 자세한 내용은 설명서를 참조하세요.