Объявление о функции обновлений для Apache Spark на основе генеративного искусственного интеллекта в AWS Glue (предварительная версия)
AWS Glue объявляет об обновлениях на основе генеративного искусственного интеллекта для Apache Spark – новой возможности на основе генеративного искусственного интеллекта, которая позволяет специалистам по обработке данных быстро обновлять и модернизировать существующие задания Spark. Эта функция, созданная на базе Amazon Bedrock, автоматизирует анализ и обновление сценариев и конфигураций Spark, сокращая время, необходимое для обновления Spark, с нескольких недель до нескольких минут.
AWS Glue – это бессерверная масштабируемая служба интеграции данных, упрощающая поиск, подготовку и объединение данных для анализа, машинного обучения и разработки приложений. С помощью функции обновлений Spark вы можете запустить автоматическое обновление одним щелчком мыши в консоли AWS Glue, чтобы модернизировать задания Spark со старой версии до версии AWS Glue 4.0. Эта функция анализирует ваши задания Spark на основе Python и создает планы обновлений с подробным описанием изменений кода и модификаций конфигурации. Она использует генеративный искусственный интеллект для итеративного улучшения и проверки обновленного кода путем выполнения тестовых запусков в виде заданий Glue. После успешной проверки вы получите подробное описание всех изменений для анализа, что позволит уверенно развертывать обновленные задания Spark. Такой автоматизированный подход снижает сложность обновлений Spark, сохраняя при этом надежность конвейеров данных.
Предварительная версия обновлений для Apache Spark на основе генеративного искусственного интеллекта доступна для AWS Glue в следующих регионах AWS: Восток США (Огайо, Северная Вирджиния), Запад США (Орегон) и Азиатско-Тихоокеанский регион (Токио, Сидней). Чтобы узнать больше, посетите веб-сайт AWS Glue, прочтите блог о запуске или ознакомьтесь с документацией.