投稿日: Nov 21, 2022
AWS Glue クローラーで Snowflake のサポートを開始しました。これにより、Snowflake スキーマの更新を簡単に理解したり、有用なインサイトを抽出したりできるようになりました。
Snowflake データベースをクロールするには、AWS Secret Manager からの認証情報を使用し、JDBC URL を使用して Glue クローラーを作成し、スケジュールを設定します。設定オプションを使用して、クローラーでデータベース全体をクロールするのか、スキーマ/テーブルパスを追加してテーブルを制限するのかを指定できます。また、パターンを除外してクロール時間を短くすることもできます。クローラーを実行するたびに、AWS Glue データカタログ内の Snowflake テーブル、外部テーブル、ビュー、マテリアライズドビューの更新や削除などの情報がクローラーによって調査され、カタログ化されます。geography、geometry など Hive と互換性のない型を使用する Snowflake 列の場合、クローラーではその情報を raw データ型として抽出し、データカタログで利用できるようにします。