Amazon EMR представляет долгосрочную поддержку Apache Spark 4.1
Amazon EMR представляет версии с долгосрочной поддержкой (LTS), начиная с emr-spark-8.1.0 и Apache Spark 4.1. При использовании LTS специальные версии среды выполнения AWS для Apache Spark получают поддержку в течение 36 месяцев. Amazon EMR предоставляет версии LTS с исправлениями критических и серьезных проблем безопасности, ошибок и повреждения данных при условии их доступности. LTS помогает выполнять производственные рабочие нагрузки Spark в одной версии дольше и обновлять их по собственному графику без дополнительных затрат.
В этом обновлении добавлена полная поддержка Apache Iceberg v3, что позволяет использовать в таблицах новые геопространственные данные, высокоточные временные метки и возможности развития схем. SQL-запросы Spark могут ссылаться на каталоги по именам, включая каталоги для разных аккаунтов и Таблиц Amazon S3, и автоматически определять форматы таблиц Apache Iceberg, Delta Lake и Apache Hudi без регистрации каждого каталога в конфигурации Spark. Детальный контроль доступа теперь охватывает больше операций VACUUM в Apache Iceberg и Delta Lake, поэтому вы можете применять разрешения на уровне столбцов и строк к более широкому набору задач. Кластеры Amazon EMR на EKS теперь поддерживают адреса Spark Connect с аутентификацией на основе токенов.
emr-spark-8.1.0 доступен во всех регионах AWS, где предлагается Amazon EMR: в Amazon EMR на EC2, Amazon EMR на EKS и Бессерверной конфигурации Amazon EMR.
Подробнее см. в примечаниях к выпуску emr-spark-8.1.0 и стандартной политике поддержки Amazon EMR. Для начала создайте кластер или приложение EMR с emr-spark-8.1.0 в Консоли управления AWS или используйте Агент обновления Apache Spark для Amazon EMR, чтобы перевести существующие приложения на эту версию.