Объявление о функции устранения неполадок Apache Spark с помощью генеративного искусственного интеллекта в AWS Glue (предварительная версия)
AWS Glue объявляет об устранении неполадок с помощью генеративного искусственного интеллекта для Apache Spark – новой возможности, которая помогает инженерам и специалистам по обработке данных быстро выявлять и устранять проблемы в заданиях Spark. Устранение неполадок в Spark использует технологии машинного обучения и генеративного искусственного интеллекта для автоматического анализа первопричин проблем в заданиях Spark, а также для предоставления действенных рекомендаций по устранению выявленных проблем.
AWS Glue – это бессерверная масштабируемая служба интеграции данных, упрощающая поиск, подготовку и объединение данных для анализа, машинного обучения и разработки приложений. С помощью устранения неполадок в Spark вы можете запустить автоматический анализ неудачных заданий одним щелчком мыши в консоли AWS Glue. Эта функция обеспечивает анализ первопричин и применение мер по устранению трудно диагностируемых проблем Spark, таких как ошибки памяти, проблемы с асимметрией данных и исключения, связанные с отсутствием ресурсов. Это помогает сократить время простоя критически важных конвейеров данных. Устранение неполадок Spark на базе Amazon Bedrock сокращает время отладки с нескольких дней до нескольких минут.
Предварительная версия устранения неполадок для Apache Spark на основе генеративного искусственного интеллекта доступна для заданий, выполняемых на AWS Glue 4.0, в следующих регионах AWS: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Европа (Ирландия) и другие. Чтобы узнать больше, посетите веб-сайт AWS Glue, прочтите блог о запуске или ознакомьтесь с документацией.