投稿日: Oct 8, 2020
AWS Glue のストリーミング抽出、変換、読み込み (ETL) ジョブは、受信レコードのスキーマを自動的に検出し、レコードごとにスキーマの変更を適切に処理できるようになりました。以前は、AWS Glue Data Catalog を使用して受信データのスキーマを指定し、スキーマの変更を処理するために ETL スクリプトを更新する必要がありました。AWS Glue ジョブで両方を実行できるようになり、コードのやり直しにかかる時間を短縮し、ETL ジョブの柔軟性を高めることができます。
AWS Glue ストリーミング ETL ジョブは、ストリーミングソースからのデータを継続的に消費し、処理中のデータをクリーンアップして変換し、数秒で分析できるようにします。AWS Glue ストリーミング ETL ジョブの自動スキーマ検出により、データを失うことなく、静的スキーマを持たない可能性のある IoT ログなどのデータを簡単に処理できます。また、ストリーミングデータのスキーマが進化するにつれて、AWS Glue データカタログの出力テーブルをジョブから直接更新することもできます。
自動スキーマ検出は、AWS Glue と同じ AWS リージョンでご利用いただけます。
詳細については、ドキュメントの AWS Glue でのストリーミング ETL についてお読みください。