Профилирование данных и обнаружение аномалий в Единой студии Amazon SageMaker
Единая студия Amazon SageMaker теперь поддерживает профилирование данных и обнаружение аномалий с помощью функции «Качество данных» AWS Glue. Специалисты по обработке данных, инженеры и аналитики могут создавать статистические профили своих данных для понимания их формы и полноты, а также отслеживать изменение этой статистики с течением времени. Обнаружение аномалий помогает выявлять точки данных, отклоняющиеся от исторических закономерностей, без необходимости задавать пороговые значения или специальные правила. Эти возможности доступны как для данных, хранимых в таблицах каталога, так и для данных в движении, используемых в заданиях Визуального инструмента ETL.
С запуском этих возможностей в таблицах каталога появилась специальная вкладка «Профиль данных», позволяющая осуществлять профилирование по расписанию или по требованию, которое вычисляет статистику на уровне наборов данных и на уровне столбцов. По мере накопления истории профилирования функция обнаружения аномалий определяет базовое ожидаемое поведение и отмечает точки данных, выходящие за рамки прогнозируемого диапазона. Это особенно удобно, когда вам неизвестны конкретные пороговые значения или когда ожидаемые значения со временем меняются и фиксированные правила устаревают. Такая же статистика профилирования и обнаружение аномалий доступны и для данных в движении на странице результатов любого задания Визуального инструмента ETL при использовании преобразования «Оценка качества данных».
Эта функция теперь доступна во всех регионах AWS, где предлагается Единая студия Amazon SageMaker. Дополнительные сведения см. в документации Единой студии Amazon SageMaker.