Агенты по устранению неполадок и обновлению Apache Spark теперь доступны в виде возможностей Kiro
Агент по устранению неполадок Apache Spark и агент по обновлению для Amazon EMR теперь доступны как возможности Kiro, что обеспечивает доступ к операциям Spark с помощью ИИ в один клик прямо в Kiro. Благодаря этим возможностям инженеры по данным могут сократить время устранения неполадок с нескольких часов до нескольких минут и сократить сроки обновления версий Spark с нескольких месяцев до недель.
При сбое задания Spark возможность по устранению неполадок выявляет первопричину, анализируя журналы, метрики и конфигурации в EMR на EC2 и Бессерверном EMR, а также предоставляет конкретные рекомендации по коду для приложений PySpark. Возможность по обновлению позволяет автоматизировать обновление версий Spark, например переход с EMR 6.5 на EMR 7.12, путем преобразования кода и разрешения зависимостей посредством удаленной проверки и сравнения качества данных в EMR. Обе возможности подключаются к агентам Spark через прокси-сервер MCP для AWS с аутентификацией на основе ролей IAM, а все действия записываются в AWS CloudTrail для обеспечения полной возможности аудита.
Возможности Apache Spark по устранению неполадок и обновлению доступны в Amazon EMR во всех коммерческих регионах AWS. Для начала установите возможность по устранению неполадок либо возможность по обновлению Apache Spark из IDE Kiro. Дополнительные сведения см. в документации по агенту по устранению неполадок и агенту по обновлению.