Что такое миграция данных?
Миграция данных – это перенос данных из одной вычислительной среды или системы хранения в другую. Организации собирают и хранят данные для анализа. Им приходится перемещать данные между системами для интегрированной визуализации, из-за технологических изменений или из-за желания перенести операции в облако. Цель миграции данных заключается в эффективном и быстром перемещении данных для избежания или минимизации сбоев в бизнес-операциях. Сюда входит планирование с учетом таких факторов, как сетевые ресурсы, безопасность данных, а также время и способы передачи. При миграции данных также нужно учитывать аспекты, связанные с архитектурой хранения, например, отсутствие значений данных или изменение типов данных.
Почему миграция данных важна?
Данные организации хранятся во многих местах – в физических хранилищах, на локальных или виртуальных серверах, на отдельных машинах и даже в различных приложениях. Они также хранятся во многих форматах и типах.
Организации перемещают данные из одного места, устройства или приложения в другое по разным причинам. Например, миграция данных может использоваться для следующих целей:
- консолидировать ресурсы;
- интегрировать данные для анализа;
- снизить затраты на хранение;
- централизовать бизнес-данные;
- использовать новые приложения;
- архивировать устаревшие данные;
- использовать данные для другой цели;
- передавать права собственности на данные;
- повысить соответствие нормативным требованиям по обработке данных.
Какие существуют стратегии миграции данных?
Существуют различные типы ИТ-миграции. Такие термины, как перенос хранилища, миграция баз данных, перенос схем, миграция приложений и миграция рабочих процессов, подразумевают перемещение данных из одного места в другое. Далее мы приведем несколько стратегий, которые можно использовать для переноса данных.
Перенос в облако
Перенос в облако – самый простой способ миграции данных. Используя его, вы транспортируете данные и храните их в другом месте, не меняя их формат. Хотя эта стратегия эффективна, она может оказаться менее полезной при переносе в облако. Хранение данных в одном формате часто не помогает эффективно использовать преимущества облачного хранилища.
Использование уже существующих инструментов
Существует множество программных инструментов, которые помогут организациям успешно выполнить миграцию. Эти поставщики и инструменты миграции данных с открытым исходным кодом значительно упрощают управление процессом.
Например, AWS DataSync – это предложение Amazon Web Services (AWS). Оно помогает организациям перенести локальные общие файловые системы, объектные хранилища или кластеры Hadoop в решения для облачного хранения AWS.
Перемещение всего сразу или поэтапно
В зависимости от самих данных вы можете перемещать все данные сразу или поэтапно. Например, можно разделить большой объем данных и выполнять перенос фрагментов в ночное время в течение нескольких недель. Хотя переносить все данные за один раз проще и быстрее, иногда это просто невозможно.
Привлечение специалистов
При сложных миграциях, когда в команде нет никого с опытом ее проведения, целесообразно прибегнуть к помощи внешних экспертов. При переносе в облако на AWS вы можете связаться с одним из партнеров AWS.
Какие факторы следует учитывать перед миграцией данных?
Перенос данных требует планирования каждой детали процесса. Вот несколько факторов, которые следует учитывать.
Миграция данных с использованием или без использования сети
Перенос очень большого объема данных может занять много времени и ресурсов даже при использовании современных сетевых решений. Для некоторых организаций может быть более эффективным и экономичным переносить данные из одного места в другое путем переноса физических устройств хранения. Эта стратегия также более безопасна, чем отправка данных через Интернет.
Формат данных
Как правило, перенос данных в том же формате из одного места в другое довольно прост. Например, перенос баз данных с локального SQL Server на облачный не требует изменения формата или схемы. Однако вам потребуется промежуточный этап обработки, если вы хотите преобразовать данные в новый формат до переноса центра обработки данных.
Сбои в работе
При перемещении данных из одного места в другое вы столкнетесь с некоторыми простоями или замедлениями работы системы. Вы можете запланировать миграцию в часы наименьшей загруженности, чтобы свести к минимуму влияние сбоев. Многие организации откладывают перенос данных, поскольку не могут позволить себе простои системы. Однако такой подход может увеличить количество перерывов в работе в будущем.
Каковы этапы миграции данных?
Каждая организация планирует миграцию данных в соответствии со своими требованиями. Мы даем широкий обзор шагов, которые вы можете предпринять, чтобы сделать процесс более эффективным.
Просмотрите исходные данные
Перед миграцией данных необходимо просмотреть и описать существующие данные. Сначала взгляните на формат носителя данных и его текущую среду. После этого, где возможно, следует просмотреть данные в специальной программе, чтобы определить их структуру и атрибуты. Вам нужно будет сопоставить структуру с новой системой данных.
Определите пункт назначения
После изучения исходных данных можно выбрать подходящее целевое решение для хранения данных на основе структуры и атрибутов. Иногда в соответствии с новым решением для хранения данных необходимо изменить структуру, атрибуты или даже формат данных. В случае интеграции данных вам необходимо реорганизовать исходные данные в соответствии со спецификациями целевых данных.
Опишите стратегию миграции данных
Как только вы определите свои потребности и целевую среду для миграции данных, вам понадобится план ее выполнения. План миграции данных – это дорожная карта к успешной миграции.
Чтобы понять, как будет происходить миграция данных, необходимо определить:
- необходимые вам системы и инструменты миграции данных;
- требования безопасности;
- любые процессы преобразования данных;
- затраты и потребности в людских ресурсах;
- примерный график миграции данных.
Составляя стратегию миграции данных, нужно также определить ее потенциальное влияние на пользователей. Сюда входит создание планов действий в чрезвычайных ситуациях или серии сообщений для оповещения пользователей о запланированных отключениях.
Реализуйте технические аспекты
Перед запуском процесса миграции данных необходимо настроить целевую среду, включая безопасность и разрешения. Если возможно, создайте схему миграции данных в виде кода, чтобы обеспечить автоматизированное решение для повторного использования. Вы можете использовать код для будущих аналогичных миграций или сохранить его в качестве документального подтверждения процесса. Кодифицированная схема служит «живым» планом миграции данных.
Протестируйте решение
Тестирование необходимо для снижения рисков, связанных с миграцией данных. Тип тестирования зависит от форматов данных и используемого решения. Например, можно выбрать небольшой фрагмент данных для тестирования, фиктивные данные или даже копию текущих системных данных. Для интеграции данных убедитесь, что новые тестовые данные совпадают с существующими.
Запустите миграцию данных
После успешного завершения тестов вы можете запланировать и начать миграцию данных. Чтобы устранить неполадки в случае непредвиденных ситуаций, обеспечьте доступность нужной команды в течение всего процесса – даже если он выполняется в нерабочее время.
После переноса данных изучите текущие данные в новой среде, чтобы проверить правильность и убедиться, что система работает должным образом. Если в течение заданного периода времени новая система работает нормально, вы можете безопасно вывести старую среду из эксплуатации.
Какие есть рекомендации по миграции данных?
Вот несколько советов, которые помогут сделать процесс миграции данных более эффективным и экономичным.
Четко изложите экономическое обоснование
Для успешной миграции данных необходимо, чтобы экономическое обоснование миграции было четким и оправданным.
Например, представьте, что пользователи уже выполняют запросы к существующим базам данных для работы. Организация приобрела новое решение для анализа данных, но пока обучение по нему прошли только три человека, а продлится оно более года. Если они попытаются перенести базу данных до завершения обучения, это может негативно повлиять на работу организации.
Тщательно оцените пространство решения
Новый подход к обработке данных может потребовать учесть больше факторов, чем обычное сравнительное решение о покупке. Например, перед переносом приложений в облако организация, возможно, захочет рассмотреть возможность контейнеризации своих архитектур. Контейнеризация поможет максимально использовать преимущества облачной инфраструктуры. Целевые решения для этих двух разных стратегий также совершенно отличаются.
Очистите данные
Хотя это не всегда необходимо, рекомендуется очистить данные перед миграцией, а именно удалить неполные и неверные данные или дубликаты.
Полностью документируйте процесс
Документирование проекта миграции данных способствует созданию аудиторской отчетности в случаях приобретения, слияния или необходимости соблюдать нормативные требования. Это также полезно для обобщения уроков и знаний, полученных организацией.
Какие бывают проблемы с миграцией данных?
Учитывая важность данных в организации, их перенос является сложной задачей и требует тщательной оценки рисков. Далее мы рассмотрим распространенные проблемы.
Устойчивость бизнеса
Миграция данных должна осуществляться с минимальными перебоями в работе сервисов. Если невозможно избежать простоев или замедлений, планируйте миграцию в нерабочее время. Предупреждайте пользователей с помощью электронных писем, уведомлений в приложениях и прикрепленных публикаций в социальных сетях.
Расходы на миграцию
При передаче данных необходимы инструменты, человеческие ресурсы, новая инфраструктура данных и денежные средства на вывод из эксплуатации старой инфраструктуры. Перед началом процесса убедитесь, что вы выделили бюджет на все аспекты. Также важно учитывать любые затраты, связанные с потерей производительности или дохода во время простоя приложений. Чтобы свести к минимуму затраты, связанные с миграцией, постарайтесь ограничить перебои и заблаговременно проинформировать о миграции всех пользователей, которых она может затронуть.
Безопасность данных
Обеспечение безопасности данных как при передаче, так и в новой среде требует тщательного планирования. Перед передачей можно выполнить сложное шифрование, а для процесса передачи данных – создать виртуальные частные сети. Тщательно протестируйте и оцените правила безопасности и разрешения новой среды перед миграцией.
Новые системные сбои и неисправности
Сложно обеспечить успешную миграцию данных для всех сценариев. Иногда передача данных может привести к сбоям или неожиданным результатам. В случае неисправностей и сбоев вам нужен план действий в чрезвычайных ситуациях. Всегда имейте резервные копии, чтобы при необходимости можно было вернуться к старым системам данных.
Как AWS может удовлетворить ваши требования в миграции данных?
Amazon Web Services (AWS) предоставляет широкий спектр решений, которые помогут вам в переносе данных в облако. Мы поможем вам найти и защитить службы и ресурсы, соответствующие вашим требованиям, а также окажем помощь с запуском самого процесса.
Например, для миграции данных вы можете воспользоваться указанными ниже сервисами.
- AWS DataSync обеспечивает безопасное обнаружение данных и их миграцию в AWS со сквозной безопасностью, упрощенным планированием и управлением.
- AWS Direct Connect выполняет выделенное сетевое подключение к AWS. При использовании этого сервиса вы можете защитить данные при их перемещении между сетью и AWS с помощью нескольких вариантов шифрования.
- Amazon Kinesis Data Firehose обеспечивает работу с потоковыми данными. С этим сервисом можно надежно загружать потоки в реальном времени в озера и хранилища данных и аналитические службы.
- AWS Snowconeпредлагает развертывание периферийных вычислительных устройств. Они являются компактными, прочными и надежными. Устройства Snowcone можно использовать для периферийных вычислений, хранения данных и физической передачи данных в дороге. Этот вариант устройств подходит для использования в суровых условиях, когда возможности подключения ограничены или их вовсе нет.
- Семейство для пересылки файлов AWS позволяет легко управлять передачей файлов. Можно также модернизировать рабочие процессы передачи данных в Простой сервис хранения данных Amazon (Amazon S3) или Эластичную файловую систему Amazon (Amazon EFS). Это делается в течение нескольких часов с использованием существующих систем аутентификации.
Создайте аккаунт и начните работу с миграцией данных на AWS уже сегодня.
AWS: дальнейшие шаги
Получите мгновенный доступ к уровню бесплатного пользования AWS.
