Все пользователи Amazon EMR теперь получили доступ к Apache Spark 4.0.2
Apache Spark 4.0.2 теперь поддерживается во всех трех моделях развертывания Amazon EMR. Spark 4.0.2 позволяет упростить создание и обслуживание конвейеров данных за счет поддержки ANSI SQL и типов данных VARIANT. Также вы сможете реализовать точный контроль доступа на уровне строк или столбцов, улучшить структуру управления и соблюдение требований за счет использования формата таблиц Apache Iceberg версии 3 и обеспечить более быстрое развертывание приложений в реальном времени благодаря расширенным возможностям потоковой передачи.
С помощью Spark 4.0.2 вы можете создавать конвейеры данных, и благодаря встроенной поддержке ANSI SQL это упрощает инжиниринг данных для более широкого круга пользователей – им не требуется изучать специфичный для Spark синтаксис. В Spark 4.0.2 поддерживается формат JSON и реализована работа с полуструктурированными данными благодаря типам данных VARIANT. Все это обеспечивает гибкость при работе с различными форматами данных. Технологии Amazon EMR и AWS Glue позволили реализовать точный контроль доступа к операциям чтения и записи для зарегистрированных таблиц AWS Lake Formation в заданиях Apache Spark. Благодаря всем перечисленным функциям безопасности формат таблиц Apache Iceberg версии 3 позволяет более надежно гарантировать выполнение транзакций. Кроме того, эта функция дает возможность отслеживать происхождение данных, создавая контрольные журналы, необходимые для соблюдения нормативных требований. Улучшенные средства управления потоковой передачей упрощают выполнение сложных операций с отслеживанием состояния и обеспечивают более точный мониторинг. Все это позволяет быстрее развертывать приложения в реальном времени, предназначенные для персонализации, обнаружения мошенничества и других срочных задач.
Apache Spark 4.0.2 предлагается во всех регионах, где поддерживается Amazon EMR. Если вы добавляете эту функцию в существующее приложение EMR, то можете сделать это быстрее, используя агент обновления Apache Spark. Дополнительные сведения об Apache Spark 4.0.2 в Amazon EMR см. в примечаниях к выпуску Amazon EMR. Чтобы начать работу, создайте приложение EMR со Spark 4.0.2 с помощью Консоли управления AWS.