发布于: Nov 4, 2022
我们很高兴地宣布在 Amazon EMR on EKS 中全面推出作业模板。通过作业模板，您可以创建和存储用于配置 Spark 应用程序参数的模板。这有助于您通过在数据管道中重用和强制配置覆盖来确保应用程序之间的一致设置。
当客户使用 StartJobRun API 运行基于 Spark 的应用程序和数据管道时，EMR on EKS 会应用默认的 Spark 设置来优化应用程序性能。借助作业模板，数据工程师现在可以定义可重用的模板来应用额外的自定义项、配置执行程序和驱动程序计算能力、设置安全性和治理属性（如 IAM 角色），以及跨多个应用程序和数据管道使用的自定义 Docker 映像。此外，客户还可以强制执行特定的配置值，从而防止在使用模板调用 StartJobRun API 时覆盖。作业模板可以使用存储在 AWS Key Management Service 中的客户管理的主密钥进行加密。