Интерактивные сеансы AWS Glue теперь поддерживают Spark Connect для интерактивных рабочих нагрузок
Интерактивные сеансы AWS Glue теперь поддерживают Apache Spark Connect, с помощью которого теперь можно разрабатывать и запускать приложения Apache Spark в предпочитаемой среде, включая управляемые блокноты в Единой студии Amazon SageMaker, или предпочитаемых средах блокнотов и IDE, таких как Jupyter, Visual Studio Code, запуская их в бессерверной инфраструктуре AWS Glue без управления кластерами.
С помощью Spark Connect вы отправляете задания Spark в Интерактивные сеансы AWS Glue, используя архитектуру тонких клиентов, отделяющую клиентское приложение от среды выполнения Spark. Это разблокирует рабочие процессы, такие как специальное исследование данных, итеративная пошаговая отладка и поэтапная разработка заданий PySpark перед развертыванием в рабочей среде, и все это выполняется с помощью инструментов, которые вы уже используете. Spark Connect также упрощает обновление и повышает стабильность, изолируя зависимости клиентов от серверной среды выполнения Spark. Для удобства наблюдения вы получаете мониторинг сеансов в реальном времени через пользовательский интерфейс Spark, отслеживание истории через Spark History Server и управление сеансами с помощью API, интерфейса командной строки или пакета SDK, AWS Glue.
Интерактивные сеансы AWS Glue со Spark Connect доступны в Азиатско-Тихоокеанском регионе (Мумбаи, Сеул, Сидней, Сингапур, Токио), Канаде (Центральная), Европе (Ирландия, Лондон, Париж, Стокгольм, Франкфурт), Южной Америке (Сан-Паулу), на Востоке США (Огайо, Северная Вирджиния) и на Западе США (Орегон).
Для начала работы подключитесь к Интерактивным сеансам Glue с помощью Spark Connect из блокнотов Единой студии Amazon SageMaker, вашей предпочитаемой IDE с интерпретатором Python или из API, пакета SDK и интерфейса командной строки. Чтобы узнать больше, ознакомьтесь с документацией по Интерактивным сеансам AWS Glue.