发布于: Oct 13, 2020
AWS Glue 中的流式处理提取、转换和加载 (ETL) 作业，现在可以从您自行管理的 Apache Kafka 集群中摄取数据。以前，AWS Glue 只支持从面向 Apache Kafka (Amazon MSK) 的 Amazon Managed Streaming 中读取数据。此次更新后，AWS Glue 允许您对来自 Apache Kafka 的数据执行流式处理 ETL 作业，无论它是部署在本地还是在云中皆可。
AWS Glue 流式处理 ETL 作业会持续消耗来自流式处理源的数据，在运行中清理和转换数据，并在几秒内使数据可供分析使用。有了额外的自行管理的 Apache Kafka 作为源，您现在还可以选择在连接到 Apache Kafka 时使用 SSL，并连接到位于 Amazon Virtual Private Cloud 内部或外部的集群。
AWS Glue 对自行管理的 Apache Kafka 支持在与 AWS Glue 相同的 AWS 区域提供。
要了解更多信息，请阅读此文档中关于添加流式处理 ETL 作业的部分。