发布于: Mar 29, 2021
AWS Step Functions 现已与 Amazon EMR on Amazon Elastic Kubernetes Service (Amazon EKS) 集成，使基于 Apache Spark 的作业更容易集成到您的分析管道中。现在，您可以构建工作流程，包括在 EKS 虚拟集群上管理 EMR 和提交作业的步骤，而无需编写代码来管理作业状态。
Step Functions 让您可以使用 Amazon Athena、Amazon EMR、Amazon EKS 等 Amazon 服务以及现在的 Amazon EMR on Amazon EKS 来构建弹性的无服务器工作流。EMR on EKS 为 Amazon EMR 提供了一个部署选项，允许您在 Amazon Elastic Kubernetes Service (Amazon EKS) 上运行 Apache Spark。您可以在同一个 Amazon EKS 集群上运行基于 Amazon EMR 的应用程序和其他类型的应用程序，以提高资源利用率，并简化跨多个 AWS 可用区的基础设施管理。
Step Functions与 Amazon EMR on EKS 集成所支持的三个 API 操作是：
1. createVirtualCluster：从现有的 AWS EKS 命名空间创建和注册一个 AWS EMR on EKS 虚拟集群，然后等待直到它完成。
2. deleteVirtualCluster (.sync)：删除一个 AWS EMR on EKS 虚拟集群，然后等待直到它被删除。
3. startJobRun (.sync)：向 AWS EMR on EKS 提交一个作业，并等待直到作业完成。
要开始使用，请访问 AWS Step Functions 文档并查看我们的博客文章。
Step Functions 与 EMR on EKS 的集成已在以下区域全面推出：美国东部（俄亥俄州和北弗吉尼亚州）、欧洲西部（爱尔兰）和加拿大（中部）。在未来几天，该集成也会在所有其他可以使用 Step Functions 和 EMR on EKS 的商业区域推出。有关区域和提供服务的完整列表，请参阅 AWS 区域。
要了解有关 Step Functions 的更多信息，请访问 AWS Step Functions 页面。要了解有关 Amazon EMR on EKS 的更多信息，请访问 AWS EMR on EKS 页面。