Amazon EMR が S3A をデフォルトのコネクタとして発表
AWS は、Amazon EMR 上の Apache Hadoop、Apache Spark、および Apache Hive ワークロードのパフォーマンスを最適化する新しい Amazon S3 コネクタである Amazon EMR S3A を発表しました。この新しいコネクタは、AWS 固有の最適化を加えることによってオープンソースの S3A アーキテクチャを強化し、組織が大規模データをより効率的に処理できるようにします。EMR S3A は、S3 Express One Zone、S3 Glacier、AWS Outposts との直接統合をサポートしているため、お客様が AWS のさまざまなストレージオプションを活用して、EMR ワークロードのデータアクセス速度とストレージコストの両方を最適化するのに役立ちます。
さらに、EMR S3A コネクタは、オープンソースの S3A を超える高度なセキュリティ機能とパフォーマンス機能を提供します。主な改善点としては、Apache Spark に組み込まれたきめ細かなアクセスコントロールのサポート、S3A 認証情報リゾルバーの強化、ファイル書き込みを最適化するための MagicCommitter V2、列指向ファイル形式に対する S3 プレフィックスリストの高速化などがあります。これらの強化された機能は EMR リリース 7.10 以降で利用でき、既存のアプリケーションとの互換性を維持します。
Amazon EMR S3A コネクタは、Amazon EMR が提供されているすべての AWS リージョンで利用できます。Amazon EMR リリースバージョン 7.10 以降ではこのコネクタがあらかじめ設定されています。Amazon EMR S3A の詳細については、Amazon EMR ドキュメントを参照してください。