Бессерверная конфигурация Amazon EMR теперь поддерживает Apache Spark 4.0.1 (предварительная версия)
Бессерверная конфигурация Amazon EMR теперь поддерживает Apache Spark 4.0.1 (предварительная версия). Spark 4.0.1 позволяет упростить создание и обслуживание конвейеров данных за счет поддержки ANSI SQL и типов данных VARIANT. Кроме того, вы можете повысить надежность систем обеспечения соответствия нормативным требованиям и управления данными, используя формат таблиц Apache Iceberg v3 и быстрее развертывать новые приложения реального времени благодаря расширенным возможностям потоковой передачи. Это поможет командам сократить технический долг и быстрее выполнять итерации, обеспечивая при этом точность и согласованность данных.
Spark 4.0.1 позволяет создавать конвейеры данных с помощью стандартного ANSI SQL, что делает их доступными для более широкого круга пользователей, поскольку не требует владения языками программирования, такими как Python или Scala. Spark 4.0.1 изначально поддерживает JSON и полуструктурированные данные с помощью типов данных VARIANT, обеспечивая гибкость при работе с различными форматами. Формат таблиц Apache Iceberg v3 позволяет повысить надежность систем обеспечения соответствия нормативным требованиям и управления данными. Он гарантирует целостность транзакций и отслеживает изменения данных во времени, создавая журналы аудита для подтверждения соответствия нормативным требованиям. Вы можете быстрее развертывать приложения реального времени благодаря улучшенным средствам управления потоковой обработкой. Они упрощают работу со сложными операциями, требующими сохранения контекста, и мониторинг состояния задач потоковой обработки. Эта возможность позволяет реализовать такие сценарии использования, как обнаружение мошенничества и персонализация в реальном времени.
Предварительная версия Apache Spark 4.0.1 доступна во всех регионах, где предоставляется бессерверная конфигурация EMR, за исключением Китая и регионов AWS GovCloud (США). Дополнительные сведения об Apache Spark 4.0.1 в Amazon EMR см. в примечаниях к выпуску Бессерверной конфигурации Amazon EMR. Чтобы начать работу, создайте приложение EMR со Spark 4.0.1 из Консоли управления AWS.