投稿日: Jul 27, 2023
本日より、Spark および Hive ジョブで Amazon EMR Serverless 上の AWS Secrets Manager からシークレットを取得できるようになったことをお知らせします。Amazon EMR Serverless はサーバーレスオプションで、クラスターやサーバーの構成、管理、スケーリングを行う必要がありません。そのため、データアナリストやエンジニアは、Apache Spark や Apache Hive といったオープンソースのビッグデータ分析フレームワークを簡単に実行できます。
Spark や Hive のジョブでは、他のシステムに接続するために、データベースの認証情報や API キーなどの機密情報にアクセスする必要が頻繁にあります。推奨される対処方法は、このような機密情報の管理をアプリケーション構成から切り離して、コードの再利用性を高めると同時に、シークレット更新時のアプリケーション構成の更新に伴う運用上のオーバーヘッドを減らすことです。Secrets Manager に保存されているシークレットへの参照を EMR Serverless ジョブの構成または分類の一部として安全に指定できるようになりました。これらの参照は、実行時にシークレットの値に置き換えられます。この機能は、アプリケーション構成に外部の Hive メタストアデータベースの認証情報の指定が必要になるユースケースに特に役立ちます。
この機能は、EMR のすべてのリリースバージョンおよび Amazon EMR Serverless を利用可能なすべてのリージョンで利用できます。シークレット参照を指定する方法の詳細と例については、EMR Serverless での SecretsManager の使用方法を参照してください。