投稿日: Jun 23, 2023
AWS Glue では、Glue Studio でストリーミングジョブのデータプレビューが可能になりました。これにより、データエンジニアは Streaming ETL ジョブの開発を加速できます。
Glue Streaming ETL ジョブは、Amazon Kinesis や Amazon MSK などのストリーミングデータソースに接続して、処理中のデータの取り込み、クリーニング、変換、読み込みを行い、数秒で分析に使用できるようにします。データエンジニアは Glue Studio を使用して、ストリーミングデータパイプラインを構築およびテストできます。Glue Studio では Glue Data Preview が提供されます。これはユーザーが各ステップでデータの出力プレビューを確認できるようにする、視覚的な ETL オーサリングインターフェイスの機能です。AWS Glue Studio では、ビジュアルジョブ作成処理の各手順でストリーミングデータをプレビューできるようになりました。AWS Glue Studio はデータを自動的にサンプリングしてジョブ内の各変換を実行するため、ジョブを保存したり実行したりしなくても、ストリーミングデータパイプラインのテストやデバッグを行うことができます。この新機能は、AWS Glue が利用可能なリージョンで利用できます。詳細については、AWS のドキュメント、および AWS Glue の料金ページをご覧ください。