게시된 날짜: Nov 21, 2022
이제 AWS Glue 크롤러에서 Snowflake가 지원되어 Snowflake 스키마에 대한 업데이트를 이해하고 의미 있는 인사이트 추출이 쉬워졌습니다.
Snowflake 데이터베이스를 크롤링하기 위해, 고객은 AWS Secret Manager의 보안 인증 정보를 사용하여 JDBC URL로 Glue 크롤러를 생성 및 예약할 수 있습니다. 구성 옵션은 크롤러가 전체 데이터베이스를 크롤링하게 할지 혹은 스키마/테이블 경로를 포함하고 크롤링 시간을 줄이기 위해 패턴을 제외하여 테이블을 제한할지 지정할 수 있도록 합니다. 크롤러를 실행할 때마다 크롤러는 AWS Glue 데이터 카탈로그의 Snowflake 테이블 업데이트나 삭제, 외부 테이블, 뷰 및 구체화된 뷰와 같은 정보를 검사하고 분류합니다. 지리학이나 기하학과 같은 Hive 이외의 호환 가능한 유형이 있는 Snowflake 열의 경우, 크롤러는 그 정보를 원시 데이터 유형으로 추출하고 데이터 카탈로그에서 사용할 수 있도록 합니다.