发布于: Jul 27, 2023
我们很高兴地宣布，即日起，可以在 Spark 和 Hive 作业中从 Amazon EMR Serverless 上的 AWS Secrets Manager 检索密钥。Amazon EMR Serverless 是一个无服务器选项，使用该功能，数据分析师和工程师可以轻松运行 Apache Spark 和 Apache Hive 等开源大数据分析框架，而无需配置、管理和扩展集群或服务器。
Spark 或 Hive 任务通常需要访问敏感信息，例如数据库凭证和 API 密钥，以连接到其他系统。将这种敏感信息的管理与应用程序配置分离是一种很好的做法，可以提高代码的可重用性，并减少在更新密钥时更新应用程序配置所产生的运营开销。现在，在 EMR Serverless 作业配置或分类过程中，您可以安全地指定对存储在 Secrets Manager 中的密钥的引用，在运行时这些引用将替换为密钥值。对于需要在应用程序配置中为外部 Hive 元存储数据库指定凭证的使用案例，此功能特别有用。
此功能适用于 EMR 的所有发行版本，在所有已推出 Amazon EMR Serverless 的区域均已提供。要了解更多信息并查看如何指定密钥引用的示例，请参阅在 EMR Serverless 中使用 SecretsManager。