发布于: Apr 27, 2020
AWS Glue 现在支持无服务器流 ETL 作业。此功能使您能够轻松设置持续摄取管道，在数秒内节准备好 IoT 事件流、点击流和网络日志等数据，并使其可用于分析。AWS Glue 现在可以使用来自 Amazon Kinesis 和 Apache Kafka 等流数据源的数据，在传输过程中对其进行清理和转换，并将结果持续加载到 Amazon S3 数据湖、数据仓库和其他数据存储中。AWS Glue 流 ETL 作业在 Apache Spark Structured Streaming 引擎上运行，因此，客户可以使用它们来丰富、聚合和组合数据，以及运行各种复杂分析和机器学习操作。
以前，您必须手动构建并整合流处理和监控系统，才能构建流数据摄取管道。AWS Glue 中的流 ETL 作业利用 AWS Glue 的无服务器基础设施来简化资源管理、优化成本并支持您设置持续摄取管道，无需编写代码，从而将实现时间从几个月缩短至几天。
此功能现已在与 AWS Glue 相同的 AWS 区域推出。
要了解有关此功能的更多信息，请访问我们的文档。