发布于: Oct 12, 2023

AWS Step Functions 宣布推出适用于 Amazon EMR Serverless 的优化集成,增加了对运行作业 (.sync) 集成模式的支持,包括 6 个 EMR Serverless API 操作(CreateApplication、StartApplication、StopApplication、DeleteApplication、StartJobRun 和 CancelJobRun)。

EMR Serverless 是 Amazon EMR 中的一个无服务器选项,可让数据分析师和工程师轻松运行 Apache Spark 和 Apache Hive 等开源大数据分析框架,而无需配置、管理和扩展集群或服务器。AWS Step Functions 是一项可视化工作流程服务,可让您轻松将 AWS 服务组合成可扩展、可靠且具有弹性的应用程序组件。客户使用 Step Functions 的可视化编写和运算符体验来创建具有弹性且易于管理的多步 EMR 数据处理管道。借助这一全新的优化集成功能,客户可以通过删除用于监控异步作业完成情况的步骤来简化这些管道,并换为使用单个 Step Functions 状态。

适用于 EMR Serverless 的优化集成已在提供 Amazon EMR Serverless 的所有 AWS 区域推出。

要开始使用,您可以在 AWS 管理控制台中针对 Step Functions 使用全新“运行 EMR Serverelss Spark 作业”示例项目,也可以使用 Step Functions Worfklow Studio 构建工作流程。要了解更多信息,请参阅 AWS Step Functions 开发人员指南和发布博客开始使用。