Анонс агента обновления Apache Spark для Amazon EMR
AWS анонсирует агент обновления Apache Spark – новую возможность, ускоряющую обновление версий Apache Spark в Amazon EMR для EC2 и Бессерверной конфигурации EMR. Этот агент трансформирует сложные процедуры обновления, которые обычно занимают месяцы, в проекты длительностью в несколько недель за счет автоматизированного анализа и преобразования кода. Организации вкладывают значительные инженерные ресурсы в анализ изменений API, разрешение конфликтов и проверку приложений в ходе обновлений Spark. Агент обновления предоставляет диалоговые интерфейсы, в которых инженеры выражают требования к обновлениям на естественном языке, сохраняя при этом полный контроль над изменениями кода.
Агент обновления Apache Spark автоматически выявляет изменения в API и принципах работы приложений PySpark и Scala. Инженеры могут запускать обновления непосредственно из Единой студии SageMaker, Kiro CLI или выбранной интегрированной среды разработки (IDE) за счет совместимости с протоколом контекста модели (MCP). В процессе обновления агент анализирует существующий код и предлагает определенные изменения, а инженеры могут проверить и утвердить их перед внедрением. Агент подтверждает корректность функций с помощью проверок качества данных. В настоящее время этот агент поддерживает обновления со Spark 2.4 до 3.5 и обеспечивает точную обработку данных на протяжении всего процесса обновления.
Агент обновления Apache Spark сейчас доступен во всех регионах AWS, где доступна Единая студия SageMaker. Чтобы начать использовать этот агент, откройте Единую студию SageMaker и выберите пространства для IDE либо установите Kiro CLI. Подробное руководство по внедрению, справочные материалы и примеры миграции см. в документации.