Amazon EMR на EKS теперь поддерживает агент устранения неполадок Apache Spark
Amazon EMR на EKS теперь поддерживает агент устранения неполадок Apache Spark. Теперь специалисты по обработке данных могут диагностировать ошибки в заданиях EMR на EKS на естественном языке, получая автоматический анализ первопричин и рекомендации по коду PySpark без ручной навигации по распределенным журналам и данным Spark History Server.
Агент анализирует данные Spark History Server, распределенные журналы исполнителей и конфигурации кластера для выявления таких проблем, как ошибки памяти, неравномерное распределение данных, борьба за ресурсы и сбои подключения. После этого обновления агент устранения неполадок Spark теперь охватывает все варианты развертывания EMR: EMR на EC2, Бессерверный EMR и EMR на EKS. Агент доступен непосредственно из консоли EMR на EKS с помощью опции «Устранение неполадок с помощью ИИ» для неудачных заданий. Кроме того, агент доступен через MCP (протокол контекста модели) с использованием любого совместимого агента ИИ для разработки кода, включая Kiro, Claude Code и Cursor. Все операции доступны только для чтения, проходят аутентификацию с помощью ролей и регистрируются в AWS CloudTrail.
Агент устранения неполадок Spark для Amazon EMR на EKS доступен во всех регионах AWS, в которых предлагается Единая студия SageMaker. Для начала работы зайдите в консоли EMR на EKS или настройте сервер MCP в предпочитаемом агенте ИИ для разработки кода. Подробные инструкции см. в документации по агенту по устранению неполадок EMR.