Amazon EMR が Apache Spark 4.1 で長期サポートを導入
Amazon EMR では長期サポート (LTS) リリースを導入しました。最初の LTS リリースは、emr-spark-8.1.0 と Apache Spark 4.1 です。LTS では、Apache Spark 用 AWS ランタイムのうち、対象として指定されたバージョンが 36 か月間サポートされます。Amazon EMR は、重大度が「重大」または「高」のセキュリティ、バグ、データ破損の問題に対する修正を、利用可能な場合に限り LTS リリース向けに提供します。LTS を利用すると、本番環境の Spark ワークロードを 1 つのリリースでより長く実行し、独自のスケジュールでアップグレードできます。追加料金は発生しません。
このリリースでは Apache Iceberg v3 が完全にサポートされ、地理空間、高精度タイムスタンプ、スキーマ進化の新機能をテーブルで利用できるようになります。Spark SQL クエリでは、クロスアカウントのカタログや Amazon S3 Tables のカタログなどを名前で参照できます。また、Apache Iceberg、Delta Lake、Apache Hudi のテーブル形式も自動的に検出されるため、Spark の設定で各カタログを登録する必要はありません。きめ細かなアクセスコントロールの対象が、より多くの Apache Iceberg オペレーションと Delta Lake の VACUUM オペレーションに拡大されました。これにより、列レベルおよび行レベルのアクセス許可を、より幅広いジョブに適用できます。Amazon EMR on EKS クラスターでは、トークンベースの認証による Spark Connect エンドポイントがサポートされるようになりました。
emr-spark-8.1.0 は、Amazon EMR が利用可能なすべての AWS リージョンにおいて、Amazon EMR on EC2、Amazon EMR on EKS、Amazon EMR Serverless のいずれでも利用できます。
詳細については、emr-spark-8.1.0 のリリースノートおよび Amazon EMR の標準サポートのポリシーを参照してください。使用を開始するには、AWS マネジメントコンソールから emr-spark-8.1.0 を使用して EMR クラスターまたはアプリケーションを作成するか、Apache Spark Upgrade Agent for Amazon EMR を使用して既存のアプリケーションをこのリリースに移行してください。