게시된 날짜: Feb 24, 2023
이제 AWS Glue 크롤러가 AWS Lake Formation과 통합되어 크롤러 설정 과정이 간소화되고 AWS S3 데이터 레이크의 계정 내 및 계정 간 크롤링을 위한 중앙 집중식 권한이 지원됩니다.
AWS Glue 크롤러는 데이터 세트를 검색하고, 스키마 정보를 추출하고, AWS Glue 데이터 카탈로그를 채우는 데 사용됩니다. 이 통합 전에는 S3 데이터 레이크 대상에 대한 크롤러 액세스를 위해 Amazon IAM 및 Amazon S3 버킷 정책을 설정해야 했습니다. Lake Formation을 사용하여 이러한 대상을 관리하는 고객은 크롤러 역할을 위해 직접 S3 액세스를 설정하는 대신 모든 권한을 Lake Formation에 중앙 집중화하는 것을 선호했습니다. 이 Glue 크롤러와 Lake Formation 통합으로, 이제 Lake Formation 관리 테이블에 대한 크롤러 액세스를 위해 Lake Formation 권한을 사용할 수 있습니다.
Lake Formation을 사용하도록 AWS Glue 크롤러를 구성하면 기본적으로 크롤러는 동일한 계정의 Lake Formation을 사용하여 데이터 액세스 보안 인증을 얻습니다. 그러나 생성 중에 계정 ID를 제공하여 다른 계정에 Lake Formation을 사용하도록 크롤러를 구성할 수도 있습니다. 교차 계정 기능을 통해 고객은 중앙 거버넌스 계정에서 권한을 관리할 수 있습니다. 고객은 각 버킷 소유 계정에서 버킷 정책을 별도로 작성하는 것보다 중앙 거버넌스 환경을 선호합니다. 데이터 메시 아키텍처를 구축하려면 단일 Lake Formation 거버넌스에서 권한을 작성하여 해당 데이터 레이크의 여러 계정에 걸친 데이터 위치 및 크롤러에 대한 액세스를 관리할 수 있습니다.
Lake Formation에 대한 AWS Glue 크롤러 지원은 일반적으로 AWS Glue와 Lake Formation을 모두 사용할 수 있는 모든 리전에서 사용할 수 있습니다. 리전 목록은 AWS 리전 테이블을 참조하십시오. 자세히 알아보려면 블로그 게시물을 읽고 AWS Glue 크롤러 설명서를 참조하십시오.