Запускайте интерактивные рабочие нагрузки Amazon EMR на EKS с использованием Spark Connect
Amazon EMR на платформе EKS теперь поддерживает интерактивные сеансы Apache Spark с использованием Spark Connect. Инженеры по обработке и анализу данных могут разрабатывать и отлаживать приложения Apache Spark в интерактивном режиме из управляемых блокнотов в Единой студии Amazon SageMaker и своих собственных IDE, таких как Jupyter и Visual Studio Code, причем Spark запускается на кластерах Amazon EKS, которые они уже эксплуатируют.
Интерактивный сеанс предоставляет постоянный контекст Spark, охватывающий ячейки и скрипты, что позволяет сочетать локальное выполнение кода Python с удаленными операциями Spark. Клиент-серверная архитектура Spark Connect отделяет клиент приложения от драйвера Spark и позволяет поддерживать предпочитаемую среду разработки и инструменты, в то время как Spark запускается в кластере Amazon EKS. Эта архитектура поддерживает рабочие процессы, включая специальное исследование данных и поэтапную разработку заданий PySpark перед развертыванием в рабочей среде. Каждый сеанс работает в виде подов в виртуальном кластере, защищен вашей ролью выполнения AWS Identity and Access Management (IAM) и помечен проектом и пользователем.
Spark Connect в Amazon EMR на EKS доступен в выпусках EMR 7.14 (Apache Spark 3.5) и emr-spark-8.1.0 (Apache Spark 4.1) во всех коммерческих регионах AWS. Интерфейс Единой студии Amazon SageMaker доступен в поддерживаемых регионах AWS.
Для начала работы ознакомьтесь с документацией по Spark Connect в Amazon EMR на EKS или Руководством по началу работы с Единой студии Amazon SageMaker.