投稿日: Feb 24, 2023
AWS Glue Crawler が AWS Lake Formation と統合されるようになったため、クローラーのセットアップが簡単になり、AWS S3 データレイクのアカウント内およびクロスアカウントクロールのアクセス許可を一元化できるようになりました。
AWS Glue Crawler は、データセットの検出、スキーマ情報の抽出、および AWS Glue データカタログへの入力に使用されます。この統合以前に、クローラーが S3 データレイクのターゲットにアクセスできるように Amazon IAM と Amazon S3 バケットポリシーを設定する必要がありました。Lake Formation を使用してこれらのターゲットを管理するお客様は、クローラーロールに直接 S3 アクセスを設定するよりも、すべての権限を Lake Formation に一元化することを望んでいました。この Glue Crawler と Lake Formation の統合により、Lake Formation の管理テーブルへのクローラーのアクセスに Lake Formation パーミッションを使用できるようになりました。
Lake Formation を使用するように AWS Glue Crawler を設定すると、デフォルトでは、クローラーは同じアカウントの Lake Formation を使用してデータアクセス認証情報を取得します。ただし、作成時にアカウント ID を指定することで、別のアカウントで Lake Formation を使用するようにクローラーを構成することもできます。クロスアカウント機能により、お客様は中央のガバナンスアカウントから権限を管理できます。バケットを所有する各アカウントで個別にバケットポリシーを書くよりも、一元的なガバナンスを実現できる点がお客様から好評です。データメッシュアーキテクチャを構築するには、単一の Lake Formation ガバナンスで権限を作成して、データレイク内の複数のアカウントにまたがるデータロケーションやクローラへのアクセスを管理できます。
AWS Glue Crawler による Lake Formation のサポートは、AWS Glue と Lake Formation の両方が利用できるすべてのリージョンで一般的にご利用いただけます。 リージョンのリストについては、 AWS リージョンテーブルを参照してください。詳細については、ブログの投稿をお読みいただき、AWS Glue Crawler のドキュメントにアクセスしてください。