投稿日: Apr 27, 2020
AWS Glue がストリーミング ETL のサポートを開始しました。この機能は、ストリーミングデータをすぐさま準備し、ほんの数秒で分析での利用を可能にする、継続的な取り込みパイプラインの設定を容易にします。AWS Glue でのストリーミング ETL ジョブは、Amazon Kinesis および Apache Kafka などのストリーミングソースからのデータを利用し、これらのデータストリームをインフライトでクリーンアップおよび変換して、その結果を Amazon S3 データレイク、データウェアハウス、およびその他データストアに継続的にロードすることができます。お客様はこの機能を使用して、IoT イベントストリーム、クリックストリーム、およびネットワークログなどのイベントデータを処理することが可能です。AWS Glue でのストリーミング ETL ジョブは Apache Spark Structured Streaming エンジンで実行されるため、お客様は、ストリーミングデータのリッチ化、集約、および結合に加えて、複雑な各種分析、および機械学習操作の実行にそれらを使用できます。
これまでは、ストリーミングデータの取り込みパイプラインを構築するために、ストリーム処理システムとモニタリングシステムを手動で構築してつなぎ合わせる必要がありました。AWS Glue でのストリーミング ETL ジョブは、AWS Glue のサーバーレスインフラストラクチャを利用して、リソース管理を簡素化し、コストを最適化して、コードを記述せずに継続的な取り込みパイプラインをセットアップできるようにすることで、平均的な実装時間を数か月から数日に短縮します。
この機能は、AWS Glue と同じ AWS リージョンで今すぐご利用いただけます。
この機能の詳細については、ドキュメントを参照してください。