Что такое управление данными?

Управление данными — это методология, обеспечивающая надлежащее состояние данных для поддержки бизнес-инициатив и операций. Согласование управления данными с бизнес-инициативами имеет множество преимуществ.

Обоснуйте финансирование программы управления данными
Мотивируйте участие бизнес-сообществ
Уделите приоритетное внимание деятельности по управлению данными
Повысьте уровень интеграции данных, необходимый в участвующих сферах бизнеса
Помогите определить правильную операционную модель, особенно необходимый уровень централизации и децентрализации.

Что такое управление аналитикой?

Управление аналитикой регулирует как данные для использования в аналитических приложениях, так и использование аналитических систем. Ваша команда по управлению аналитикой может создать механизмы, такие как управление версиями аналитических отчетов и ведение документации. Как всегда, следите за нормативными требованиями, устанавливайте политику компании и создавайте барьеры для организации в целом.

Почему управление данными важно?

По данным Gartner, к 2025 году 80% организаций, стремящихся масштабировать цифровой бизнес, потерпят неудачу из-за отсутствия современного подхода к управлению данными и аналитикой. Неудивительно, что директора по обработке данных считают управление данными главным приоритетом своих инициатив в соответствующей области. В ходе опроса, проведенного в 2023 году среди 350 CDO и эквивалентных CDO должностей, MIT CDOIQ было обнаружено, что 45% директоров по данным считают управление данными главным приоритетом. Эти лидеры в области данных стремятся внедрить модель управления, которая позволит им предоставлять данные нужным людям и приложениям в нужное время, обеспечивая при этом безопасность и защиту данных с помощью соответствующих средств контроля.

Исторически управление использовалось для сбережения данных в разрозненных хранилищах с целью предотвращения их утечки или неправильного использования. Однако разрозненность данных приводит к тому, что законным пользователям приходится преодолевать барьеры, чтобы получить доступ к ним в нужное время. Непреднамеренно инновации, основанные на данных, подавляются.

Превратить управление в фактор инноваций можно с помощью двух рычагов: доступ и контроль. Ключ к успеху – найти правильный баланс между доступом и контролем, а точка балансирования у каждой организации своя. Когда вы используете слишком большой контроль, данные запираются в разрозненные хранилища, и пользователи не могут получить к ним доступ в нужное время. Это не только подавляет творческий подход, но и приводит к созданию теневых ИТ-систем, в которых данные устаревают и не защищены. С другой стороны, когда вы предоставляете слишком много доступа, данные попадают в приложения и хранилища, что повышает риск их утечки.

Правильное управление, обеспечивающее баланс между доступом и контролем, повышает доверие людей к данным, содействуя их надлежащему обнаружению, обработке, защите и обмену ими. Это поощряет инновации и обеспечивает защиту данных.

Что такое управление машинным обучением (ML)?

Управление машинным обучением применяет многие из тех же методов управления данными к машинному обучению. Качество и интеграция данных должны обеспечивать данные, необходимые для обучения модели и развертывания в производственной среде (одним из важных аспектов этого является хранилище функций). Ответственный искусственный интеллект уделяет особое внимание использованию конфиденциальных данных для построения моделей. Дополнительные возможности управления машинным обучением включают предоставление людям возможности участвовать в создании, развертывании и мониторинге моделей; документирование обучения, управления версиями, поддерживаемых вариантов использования и рекомендаций по использованию этической модели; а также мониторинг модели в производстве на предмет точности, отклонения, переоснащения и недооснащения.

Генеративный искусственный интеллект требует дополнительных возможностей управления данными, таких как качество и целостность данных для адаптации базовых моделей для обучения и анализа, управление токсичностью и погрешностью генеративного ИИ, а также управление базовыми моделями (FM): FMOps.

Вы можете поддерживать искусственный интеллект и машинное обучение с помощью той же программы управления данными. Подготовка данных необходима для преобразования данных в форму, которую модели искусственного интеллекта и машинного обучения могут использовать для обучения и анализа производственных выводов, но самая эффективная подготовка данных – это подготовка, которую вам не нужно делать. Специалисты по работе с данными тратят слишком много времени на подготовку данных для каждого варианта использования – ваша команда по управлению данными поможет облегчить эту недифференцированную тяжелую работу. Кроме того, управление данными может обеспечить контроль за созданием хранилищ сформированных характеристик для использования в сценариях ИИ и машинного обучения.

Наконец, конфиденциальные данные необходимо надлежащим образом защитить, чтобы ваша команда могла снизить риски использования конфиденциальных данных для обучения базовых моделей.

Как и в случае с аналитикой в целом, вы должны регулировать использование моделей искусственного интеллекта и машинного обучения, которые вы создаете или настраиваете. В идеале это должно быть тесно связано с управлением аналитикой, поскольку эта функция будет знать, как поддерживать различные сферы бизнеса.

Каковы основные проблемы управления данными?

Наиболее распространенная стратегическая задача управления данными заключается в приведении программы в соответствие с бизнес-инициативами, а не в том, чтобы напрямую предлагать преимущества управления данными. Например, вы можете предложить облегчить конечным пользователям поиск нужных данных или решить проблемы с качеством данных. Но это решения, направленные на поиск проблемы. Если вы сделаете это таким образом, вы в конечном итоге будете конкурировать за финансирование и спонсорство с бизнес-инициативами, которые вам следует поддерживать. Вместо этого используйте управление данными для поддержки бизнес-инициатив. Каждая крупная бизнес-инициатива требует данных. Управление данными должно обеспечивать надлежащее состояние данных для поддержки успеха бизнес-инициатив. Не забывайте о методах отчетности и аудита в том, как управление данными поддерживает эти инициативы.

Еще распространенная стратегическая проблема управления данными заключается в том, чтобы не применять управление данными слишком узко. Слишком узкое применение может заключаться в приведении программы в соответствие с отдельными сферами бизнеса или вариантами использования без более широкого анализа сфер бизнеса. Узкое применение также может означать определение управления данными только с помощью одного или двух методов. Например, наличие каталога данных не является программой управления данными.

Какие существуют стили управления данными?

Ваша программа управления данными должна сочетать централизацию и децентрализацию (включая самообслуживание). В вашей организации будет сочетаться централизованное, федеративное и децентрализованное управление – опять же, в зависимости от требований бизнеса. Вам следует максимально расширить возможности доменных команд, сохраняя при этом согласованность между доменами (например, возможность связывать данные).

Централизованное управление данными: центральные организации в конечном итоге отвечают за формулирование задач, политики, выбор инструментов и многое другое. Повседневные действия часто переносятся в сферы бизнеса (LOB).
Федеративное управление данными: федеративное управление данными позволяет отдельным подразделениям или бизнес-инициативам работать в соответствии с их потребностями. При федеративном управлении данными по-прежнему существует небольшая централизованная команда, которая сосредоточивает свою работу на решении наиболее часто повторяющихся проблем, включая, например, инструменты контроля качества данных в масштабе предприятия.
Самостоятельное или децентрализованное управление данными: каждая LOB делает все необходимое для своего конкретного проекта. В каждом проекте используются любые инструменты или процессы из других проектов, где они пригодны для использования. По мере роста популярности таких тем, как сетка данных (сама по себе децентрализованная), растет и популярность самообслуживания управления данными.

Кто создает управление данными?

Создание программы управления данными, ориентированной на бизнес, требует выполнения множества рабочих функций.

Исполнительные спонсоры понимают многие бизнес-инициативы, включенные в корпоративную дорожную карту, и могут помочь определить приоритеты поддержки управления данными.
Управляющие данными работают в бизнесе и изо дня в день участвуют в деталях проектов. Они помогают понять проблемы с данными, которые могут стать препятствиями при реализации целевых бизнес-инициатив.
Владельцы данных устанавливают правила в отношении данных, в том числе о том, кто и при каких обстоятельствах должен иметь доступ к данным, как интерпретировать и применять нормативные акты, а также определения ключевых терминов
Инженеры по обработке данных обычно работают в сфере ИТ и предоставляют инструменты, помогающие защитить данные, управлять качеством данных, интегрировать данные из различных источников и находить нужные данные.

Как работает управление данными?

Для управления данными требуются люди, процессы и технологические решения с широким спектром возможностей.

Храните данные в нужном масштабе, чтобы ограничить их разрастание. Масштабное управление данными означает выявление наиболее ценных источников данных, включая базы данных, озера данных и хранилища данных, и управление ими, что позволяет ограничить распространение и трансформацию критически важных информационных ресурсов. Управление данными также означает обеспечение точности, актуальности и отсутствия конфиденциальной информации, чтобы пользователи могли быть уверены в решениях, основанных на данных, и в данных, которые используются в приложениях.

Возможности: управление качеством данных, интеграция данных и управление основными данными

Изучайте и анализируйте свои данные в контексте, чтобы ускорить принятие решений на основе данных. Понимание ваших данных в контексте означает, что все пользователи могут узнать и понять значение своих данных, чтобы уверенно использовать их для повышения ценности бизнеса. Благодаря централизованному каталогу данных можно легко найти данные, запросить доступ и использовать данные для принятия бизнес-решений.

Возможности: профилирование данных, происхождение данных и каталоги данных

Защищайте свои данные и безопасно передавайте их, сохраняя контроль и надежность. Защита ваших данных означает возможность найти правильный баланс между конфиденциальностью, безопасностью и доступом к данным. Очень важно иметь возможность управлять доступом к данным за пределами организации с помощью инструментов, интуитивно понятных как для бизнес-пользователей, так и для инженерных пользователей.

Возможности: жизненный цикл данных, соответствие требованиям и безопасность данных

Уменьшите бизнес-риски и улучшите соответствие нормативным требованиям. Снижение рисков означает понимание того, как и кем используются эти данные. Сервисы AWS помогают отслеживать и проверять доступ к данным, в том числе с помощью моделей машинного обучения, для обеспечения безопасности данных и соответствия нормативным требованиям. Машинное обучение также требует прозрачности аудита для обеспечения ответственного использования и упрощения отчетности.

Возможности: аудит использования данных и машинного обучения

Как улучшить свои команды по управлению данными?

Ключом к эффективной программе управления данными является подключение к уже профинансированным бизнес-инициативам. Убедитесь, что ваша команда понимает, какие домены данных, источники и элементы необходимы для поддержки этих инициатив.

Создайте дорожную карту управления данными, демонстрирующую поддержку целевых бизнес-инициатив. Затем начните выявлять совпадение данных между выбранными бизнес-инициативами.
Определите приложения и сценарии использования бизнес-аналитики, которые должны поддерживать и питать данные, включая требования к актуальности и конфиденциальности.
Узнайте, как выглядят данные, соответствующие назначению, для каждой выбранной бизнес-инициативы.
Поддерживайте и расширяйте программу управления данными, встраивая ее в операционную модель предприятия, чтобы планирование и внедрение данных стали неотъемлемой частью деятельности организации.
Организуйте сообщество аналитиков для самообслуживания и обеспечения согласованности.
Поддерживайте искусственный интеллект (ИИ) и машинное обучение (ML) с помощью управления данными и машинного обучения. Используйте ту же программу управления данными, но примените ее к хранилищам функций и моделям машинного обучения.

Какие существуют предложения AWS для управления данными?

Благодаря комплексному управлению данными в AWS организации могут контролировать, где находятся их данные, кто имеет к ним доступ и что с ними можно делать на каждом этапе рабочего процесса. Управление данными с помощью AWS помогает организациям ускорить принятие решений на основе данных, позволяя нужным людям и приложениям безопасно находить нужные данные, получать к ним доступ и делиться ими в любое время. Для того чтобы ограничить распространение данных, вы можете управлять ими, автоматизируя их интеграцию и качество. Вы можете находить и анализировать свои данные с помощью централизованных каталогов, повышающих грамотность данных. Вы можете защитить свои данные с помощью точных разрешений, позволяющих безопасно делиться данными. Мониторинг и аудит доступа к данным позволяют снизить риски и повысить соответствие нормативным требованиям.

Amazon DataZone. Раскройте потенциал данных с помощью встроенных средств управления, невзирая на организационные барьеры
AWS Glue. Поиск, подготовка и интеграция данных любого масштаба
AWS Lake Formation – это централизованное управление, защита и обмен данными для аналитики и машинного обучения.
Унифицированная бизнес-аналитика Amazon QuickSight в гипермасштабируемой среде
Amazon SageMaker. Создавайте, обучайте и развертывайте модели машинного обучения для любого стандартного примера использования с полностью управляемыми инфраструктурой, инструментами и рабочими процессами.
Веб-страница управления машинным обучением
Amazon Bedrock. Самый простой способ создавать и масштабировать приложения с генеративным искусственным интеллектом на базовых моделях.
Amazon Macie. Обнаружение и защита конфиденциальных данных в любом масштабе
Точки доступа простого сервиса хранения данных Amazon (Amazon S3). Объектное хранилище, созданное для получения любого объема данных из любого места.
AWS Data Exchange. Легкий поиск, подписка и использование данных третьих лиц в облаке
AWS Clean Rooms. Создание пустых комнат за считанные минуты для совместной работы с партнерами без обмена необработанными данными
Мастер-класс по управлению данными с помощью AWS: как управление данными может ускорить реализацию бизнес-инициатив? Как использовать существующие корпоративные возможности для разработки плана управления данными и финансирования? В этом мастер-классе, предлагаемому по запросу, вы узнаете, как создать успешную финансируемую программу управления данными. Видео мастер-класса по управлению данными с помощью AWS сопровождаются рабочей тетрадью с практическими упражнениями.