发布于: Sep 26, 2023
Amazon EMR Serverless 是一个无服务器选项，使用该功能，可帮助数据分析师和工程师运行 Apache Spark 和 Apache Hive 等开源大数据分析框架，而无需配置、管理和扩展集群或服务器。我们很高兴地宣布，从今天开始，您可以在应用程序级别设置默认配置，从而为在同一应用程序下提交的所有 Spark 和 Hive 作业保持一致的设置。
借助这项新功能，您可以为应用程序中的所有作业定义默认设置，以帮助标准化作业行为。这些设置（包括内存、执行器/驱动程序内核、用于存储日志的 S3 位置、从 AWS Secrets Manager 检索密钥等）会自动应用于在应用程序下创建的所有作业，同时仍可灵活地为特定作业运行自定义配置。例如，您可以在应用程序配置中为外部 Hive 元数据库指定凭证以及密钥，该应用程序下运行的任何作业都将继承这些默认配置。这种集中式方法提高了配置的可预测性，同时提高了作业的可重复性。