发布于: May 11, 2021
即日起,Amazon EMR on EKS 在欧洲(巴黎和斯德哥尔摩)区域推出。
Amazon EMR on EKS 允许客户自动配置和管理 Amazon EKS 上的开源大数据框架。通过 EMR on EKS,客户现可以在同一 EKS 集群上与其他类型的应用程序一起运行 Spark 应用程序,以提高资源利用率并简化基础设施管理。客户可以将 EMR 应用程序与其他类型的应用程序部署在同一 EKS 集群上,使其能够共享资源,并在单一解决方案中实现所有应用程序操作和管理的标准化。客户可以在 EKS 上获得目前在 Amazon EC2 上使用的相同 EMR 功能,诸如访问最新的性能优化 Spark 运行时间、EMR Studio(预览版)进行应用程序开发和持续 Spark UI 进行调试。
首先,向 Amazon EMR 注册 EKS 集群。然后,定义您的作业,包括 EMR 版本、Spark 参数和应用程序依赖项。Amazon EMR on Amazon EKS 会将 Pod、容器和资源调度到您的 Amazon EKS 集群上。您可以将作业配置为在 Amazon EC2 实例上运行,如果您想要无服务器体验,也可以配置为在 Amazon Fargate 上运行。您可以使用 Amazon Managed Workflows for Apache Airflow 创建工作流程,并使用存储在 Amazon S3 或 Amazon CloudWatch 中的每个作业日志分析输出。
有关 Amazon on EKS 的更多信息,请访问我们的 Amazon on EKS 发布博客、Amazon EMR on EKS 文档或查看我们关于 Amazon EMR on EKS 的深入探究技术讲座。