投稿日: Oct 15, 2020
AWS Glue のストリーミング抽出、変換、ロード (ETL) ジョブで、Apache Avro 形式でエンコードされたデータを読み取ることができるようになりました。以前は、ストリーミング ETL ジョブは、JSON、CSV、Parquet、および XML 形式のデータを読み取ることができました。Avro が追加されたことで、ストリーミング ETL ジョブはバッチ AWS Glue ジョブと同じ形式をすべてサポートするようになりました。
AWS Glue ストリーミング ETL ジョブは、ストリーミングソースからのデータを継続的に消費し、処理中のデータをクリーンアップして変換し、数秒で分析できるようにします。Apache Avro は、スキーマの進化と高速のシリアル化および逆シリアル化をサポートしているため、ストリーミングデータの一般的な形式です。
AWS Glue での Apache Avro 形式の読み取りサポートは、AWS Glue と同じ AWS リージョンでご利用いただけます。
詳細については、ドキュメントの「AWS Glue でのストリーミング ETL ジョブの追加」をお読みください。