AWS Glue анонсирует новую общедоступную функцию обеспечения качества данных Glue на основе машинного обучения
AWS Glue объявляет о появлении новой общедоступной функции «Качество данных AWS Glue» (Glue DQ), которая использует алгоритмы обнаружения аномалий на базе машинного обучения для выявления трудно обнаруживаемых проблем и аномалий качества данных. Она помогает клиентам выявлять и устранять проблемы с качеством данных заблаговременно.
Инженеры и аналитики используют правила в Glue DQ для оценки и мониторинга своих данных. Хотя текущий подход Glue DQ на основе правил хорошо работает с известными шаблонами данных, он может упускать неожиданные аномалии. Теперь аналитики и инженеры по обработке данных могут использовать функцию обнаружения аномалий Glue DQ, чтобы легко выявлять непредвиденные проблемы с качеством данных. Для применения этой функции клиенты могут написать правила или анализаторы, а затем включить обнаружение аномалий в используемой Glue системе извлечения, преобразования и загрузки (ETL). Функция Glue DQ собирает статистику по столбцам, указанным в правилах и анализаторах, применяет алгоритмы машинного обучения для обнаружения аномалий и выдает наглядный визуальный анализ, поясняющий обнаруженные проблемы. Клиенты могут использовать рекомендуемые правила для выявления аномальных закономерностей и предоставлять обратную связь для адаптации модели машинного обучения к более точному обнаружению.
Для получения дополнительных сведений читайте наш блог, посмотрите вводное видео или обратитесь к документации. Эта возможность доступна в следующих регионах: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Европа (Ирландия, Стокгольм, Франкфурт) и Азиатско-Тихоокеанский регион (Сингапур, Сидней, Токио).