投稿日: Feb 6, 2023
AWS Glue クローラーは、データスキーマを抽出し、AWS Glue データカタログに自動入力してメタデータを最新に保つために、MangoDB をサポートしています。本日より、そのサポートが拡大され、MongoDB Atlas が対象に含まれるようになりました。この機能により、管理されている MongoDB Atlas のメタデータを AWS Glue データカタログに簡単に取り込むことが可能になるため、データエンジニアは、MangoDB Atlas のデータを S3 ベースのデータレイクと統合し、有意義なインサイトを得ることができます。
今回のリリースにより、MangoDB Atlas をクロールする Glue クローラーを作成し、そのスケジュールを設定できるようになりました。Glue クローラーコンソールでは、MongoDB をデータソースとして選択できます。その後、Glue 接続を接続タイプ「DocumentDB/MongoDB」で作成することで、MongoDB Atlas のクラスター情報と認証情報を提供できます。構成の作成後は、クロールする MangoDB Atlas のデータベースとコレクションを指定できます。クローラーは、実行されるたびに、指定されたコレクションとカタログ情報を検査します。この処理には、AWS Glue データカタログに含まれる MangoDB Atlas のコレクション、ビュー、マテリアライズドビューの更新または削除が含まれます。AWS Glue では、MangoDB Atlas からデータを取得して Amazon S3 ターゲットに入力するためのソースとして、AWS Glue データカタログを使用することができます。