投稿日: Oct 13, 2020
AWS Glue のストリーミング抽出、変換、ロード (ETL) ジョブで、ご自身が管理している Apache Kafka クラスターからデータを取り込むことができるようになりました。AWS Glue は以前、特に Amazon Managed Streaming for Apache Kafka（Amazon MSK）からの読み取りをサポートしていました。今回の更新では、AWS Glue でオンプレミスまたはクラウドにデプロイされているかどうかに関係なく、Apache Kafka からのデータに対してストリーミング ETL を実行できるようになりました。
AWS Glue ストリーミング ETL ジョブは、ストリーミングソースからのデータを継続的に消費し、処理中のデータをクリーンアップして変換し、数秒で分析できるようにします。自己管理型の Apache Kafka がソースとして追加されたことで、Apache Kafka に接続するときに SSL をオプションで使用したり、Amazon Virtual Private Cloud の内部または外部のクラスターに接続できるようにもなりました。
AWS Glue での自己管理型 Apache Kafka サポートは、AWS Glue と同じ AWS リージョンで利用できます。
詳細については、ドキュメントの「AWS Glue でのストリーミング ETL ジョブの追加」をお読みください。