投稿日: Sep 26, 2023
Amazon EMR Serverless はサーバーレスオプションであり、クラスターやサーバーの構成、管理、スケーリングを行う必要がありません。そのため、データアナリストやエンジニアが、Apache Spark や Apache Hive といったオープンソースのビッグデータ分析フレームワークを実行する助けになります。このたび、アプリケーションレベルでデフォルト設定を設定できるようになったことをお知らせします。これにより、同じアプリケーションで送信されるすべての Spark ジョブと Hive ジョブの一貫した設定を維持できます。
この新機能を使用すると、アプリケーション内のすべてのジョブに対するデフォルト設定を定義して、ジョブの動作を標準化できます。これらの設定 (メモリ、エグゼキュータ/ドライバーコア、ログを保存するための S3 の場所、AWS Secrets Manager からのシークレットの取得など) は、アプリケーションで作成されたすべてのジョブに自動的に適用されますが、特定のジョブ実行に合わせて設定を柔軟にカスタマイズできます。例えば、外部の Hive メタストアデータベースの認証情報をシークレットとともにアプリケーション設定で一度指定すると、これらのデフォルト設定はそのアプリケーションで実行されるすべてのジョブに継承されます。この一元化されたアプローチにより、設定がより予測可能になり、ジョブの再現性が高まります。