게시된 날짜: Mar 27, 2023
이제 AWS Glue Crawler는 AWS GovCloud(미국) 리전에서도 향상된 크롤링 기능을 지원하므로, AWS Lake Formation으로 크롤러를 실행하고, 데이터 세트를 검색하고, AWS Glue 데이터 카탈로그에 스키마를 채우는 작업을 간소화할 수 있습니다.
향상된 크롤링 기능을 사용하면 Lake Formation을 통해 크롤러 설정을 간소화하고 AWS S3 데이터 레이크의 계정 내 및 계정 간 크롤링을 위한 중앙 집중식 권한을 지원할 수 있습니다. Glue Data Catalog 테이블에서 Amazon S3 이벤트 알림을 사용하면 크롤링 시간을 줄일 수 있습니다. 이 기능은 Amazon S3의 이벤트 기반 데이터만 스캔하여 데이터 세트를 더 간단하게 검색할 수 있게 지원합니다. 이제 Snowflake, MongoDB Atlas 및 네이티브 Delta Lake 테이블을 비롯한 더 많은 데이터 소스를 크롤링할 수 있으며, 과거 크롤러 실행에 대한 비용 지표를 사용하여 간소화된 감사를 통한 관리가 가능합니다.