AWS Glue 流式处理 ETL 作业支持读取 Apache Avro 格式的记录

发布于: Oct 15, 2020

AWS Glue 中的流式处理提取、转换和加载 (ETL) 作业现在可以读取以 Apache Avro 格式编码的数据。在此之前，流式处理 ETL 作业可读取 JSON、CSV、Parquet 和 XML 格式的数据。增加 Avro 之后，流式处理 ETL 作业现在支持与批量 AWS Glue 作业相同的所有格式。

AWS Glue 流式处理 ETL 作业会持续消耗来自流式处理源的数据，在运行中清理和转换数据，并在几秒内使数据可供分析使用。Apache Avro 是一种常见的流式处理数据格式，因为它支持 Schema 发展及快速序列化和反序列化。

AWS Glue 对 Apache Avro 格式的读取支持在与 AWS Glue 相同的 AWS 区域提供。

要了解更多信息，请阅读此文档中关于添加流式处理 ETL 作业的部分。