Запускайте интерактивные рабочие нагрузки Amazon EMR on EC2 с использованием Spark Connect
Amazon EMR на платформе EC2 теперь поддерживает интерактивные сеансы Apache Spark с использованием Spark Connect. Инженеры по обработке и анализу данных могут разрабатывать и отлаживать приложения Apache Spark в интерактивном режиме из управляемых блокнотов в Единой студии Amazon SageMaker и своих собственных IDE, таких как Jupyter и Visual Studio Code, причем каждый сеанс выполняется в выделенных кластерах EMR в EC2. Кроме того, в консоли EMR можно отслеживать и отлаживать активные и завершенные сеансы.
Интерактивный сеанс предоставляет постоянный контекст Spark, охватывающий ячейки и скрипты, что позволяет сочетать локальное выполнение кода Python с удаленными операциями Spark. Клиент-серверная архитектура Spark Connect, которая отделяет клиент приложения от драйвера Spark и позволяет поддерживать предпочитаемую среду разработки и инструменты, в то время как инфраструктура Spark работает в кластере. Эта архитектура поддерживает рабочие процессы, включая специальное исследование данных, итеративную пошаговую отладку и поэтапную разработку заданий PySpark перед развертыванием в рабочей среде. Для удобства наблюдения вы получаете мониторинг сеансов в реальном времени через пользовательский интерфейс Spark, отслеживание истории через Spark History Server и управление сеансами с консоли EMR или API/CLI/SDK.
Интерактивные сеансы доступны в Amazon EMR на платформе EC2 в среде выполнения AWS для Apache Spark (emr-spark-8.0) и более поздних версиях во всех регионах AWS, в которых доступен Amazon EMR, за исключением регионов AWS GovCloud и регионов Китая. Интерфейс Единой студии Amazon SageMaker доступен в поддерживаемых регионах. Для начала работы ознакомьтесь с руководством по Интерактивным сеансам со Spark Connect или Руководством по началу работы с Единой студией Amazon SageMaker.