发布于: Oct 8, 2020
在 AWS Glue 中流式处理提取、转换、加载 (ETL) 作业现在可以自动检测传入记录的架构并轻松地处理每个记录的架构更改。过去，您需要使用 AWS Glue Data Catalog 指定传入数据的架构并更新 ETL 脚本才能处理架构更改。AWS Glue 作业现在可以为您同时完成这两项操作，从而节省重新编写代码的时间，并提升 ETL 作业的灵活性。
AWS Glue 流式处理 ETL 作业会持续消耗来自流式处理源的数据，在运行中清理和转换数据，并在几秒内使数据可供分析使用。AWS Glue 中的自动架构检测流式处理 ETL 作业，可以在不丢失数据的情况下轻松处理像 IoT 日志这样可能没有静态架构的数据。它还允许您在流式处理数据的架构发生演变时，直接从作业更新 AWS Glue 数据目录中的输出表。
自动架构检测现已在与 AWS Glue 相同的 AWS 区域推出。
要了解更多信息，请阅读此文档中关于在 AWS Glue 中流式处理 ETL 的部分。