Блокноты Единой студии Amazon SageMaker теперь поддерживают Бессерверную конфигурацию EMR
Блокноты Единой студии Amazon SageMaker теперь поддерживают Бессерверную конфигурацию Amazon EMR с Apache Spark Connect, что позволяет инженерам по обработке данных и аналитикам более гибко выбирать среду выполнения Spark для интерактивной аналитики и рабочих нагрузок по проектированию данных. В дополнение к Amazon Athena Spark пользователи теперь могут использовать Бессерверную конфигурацию Amazon EMR в качестве среды выполнения Spark, выбирая оптимальный движок в соответствии со своими требованиями.
Благодаря этому обновлению вы можете запускать PySpark и Spark SQL в бессерверном приложении EMR Spark в ячейках блокнотов. Пользователи могут выбрать среду выполнения Spark на боковой панели блокнота, и выбранная среда выполнения применима как к ячейкам Python, так и к ячейкам SQL. Кроме того, пользователи могут использовать SageMaker Data Agent, встроенный ИИ-ассистент, для создания кода и планов выполнения на основе текстовых запросов на естественном языке, ускоряя рабочие процессы разработки Spark с помощью Бессерверной конфигурации EMR. Организации могут использовать предварительно инициализированные ресурсы для сокращения времени начала сеансов, а также воспользоваться унифицированным мониторингом пользовательского интерфейса Spark во всех поддерживаемых движках для стабильного мониторинга выполнения заданий и производительности. Кроме того, Бессерверная конфигурация EMR обеспечивает поддержку подключения к VPC для рабочих нагрузок, требующих изоляции сети.
Эта функция доступна во всех регионах AWS, в которых предлагается Единая студия Amazon SageMaker, и поддерживает как блокноты Единой студии SageMaker, так и среды IDE JupyterLab. Для начала работы ознакомьтесь с Руководством пользователя Единой студии Amazon SageMaker.