发布于: Mar 4, 2021
即日起，Amazon EKS 上的 Amazon EMR 现已在美国西部（加利福尼亚北部）、美国东部（俄亥俄）、加拿大（中部）、欧盟地区（法兰克福和伦敦）和亚太地区（孟买、首尔、新加坡、悉尼和东京）区域发售。
EKS 上的 Amazon EMR 允许客户自动配置和管理 EKS 上的开源大数据框架。通过 EKS 上的 EMR，现在客户可以在同一 EKS 集群上与其他类型的应用程序一起运行 Spark 应用程序，以提高资源利用率并简化基础设施管理。客户可以将 EMR 应用程序与其他类型的应用程序部署在同一 EKS 集群上，使其能够共享资源，并在单一解决方案中实现所有应用程序操作和管理的标准化。客户可以在 EKS 上获得目前在 Amazon EC2 上使用的相同 EMR 功能，例如访问最新的性能优化 Spark 运行时间、EMR Studio（预览版）进行应用程序开发和持续 Spark UI 进行调试。
首先，向 Amazon EMR 注册 EKS 集群。然后，定义您的作业，包括 EMR 版本、Spark 参数和应用程序依赖项。Amazon EMR on Amazon EKS 会将 Pod、容器和资源调度到您的 Amazon EKS 集群上。您可以将作业配置为在 Amazon EC2 实例上运行，如果您想要无服务器体验，也可以配置为在 Amazon Fargate 上运行。您可以使用 Amazon Managed Workflows for Apache Airflow 创建工作流程，并使用存储在 Amazon S3 或 Amazon CloudWatch 中的每个作业日志分析输出。
您可以阅读 EKS 上的 Amazon 发布博客、EKS 上的 Amazon EMR 文档或访问 Amazon EKS 上的 Amazon EMR 详细页面了解更多信息。