Запускайте интерактивные рабочие нагрузки в Бессерверной конфигурации Amazon EMR с помощью Spark Connect
Бессерверная конфигурация Amazon EMR теперь поддерживает интерактивные сеансы со Spark Connect, что позволяет разрабатывать и запускать приложения Apache Spark из управляемых блокнотов в Единой студии Amazon SageMaker, а также из ваших любимых сред блокнотов и IDE, таких как Jupyter и Visual Studio Code. Кроме того, в консоли EMR можно отслеживать и отлаживать активные и завершенные сеансы, а также получать детальную информацию о затратах и использовании для отдельных сеансов.
Интерактивный сеанс предоставляет постоянный контекст Spark, который легко охватывает ячейки и скрипты, что позволяет сочетать локальное выполнение кода Python с удаленными операциями Spark в единой среде. Этому способствует клиент-серверная архитектура Spark Connect, которая отделяет клиент приложения от драйвера Spark и позволяет поддерживать предпочитаемую среду разработки и инструменты, в то время как инфраструктура Spark работает независимо от Бессерверной конфигурации EMR. Эта архитектура разблокирует рабочие процессы, включая специальное исследование данных, итеративную пошаговую отладку и поэтапную разработку заданий PySpark перед развертыванием в рабочей среде. Для удобства наблюдения вы получаете мониторинг сеансов в реальном времени через пользовательский интерфейс Spark, отслеживание истории через Spark History Server и управление сеансами с консоли EMR или API/CLI/SDK.
Приложение Spark Connect в Бессерверной конфигурации Amazon EMR доступно в версии EMR 7.13 во всех регионах AWS, в которых предлагается Бессерверная конфигурация Amazon EMR. Интерфейс Единой студии SageMaker доступен в поддерживаемых регионах. Для начала работы ознакомьтесь с Руководством пользователя интерактивных сеансов Бессерверной конфигурации EMR или Руководством по началу работы с Единой студией Amazon SageMaker.