Что такое фреймворк миграции данных?
Что такое фреймворк миграции данных?
Миграция данных – это перемещение данных из одной системы хранения или вычислительной среды в другую. Любая инициатива по миграции данных направлена на эффективное перемещение данных с учетом таких факторов, как сетевые ресурсы, безопасность данных, время и методы передачи. Миграция данных в облако направлена исключительно на перенос данных в облако.
Этот процесс заключается не только в перемещении данных, но и в точном сопоставлении данных между различными средами хранения. Оно может принимать несколько форм. Например, вам, возможно, придется периодически загружать файлы данных в пакетном режиме, передавать данные с датчиков или единоразово переносить существующий архив из локальных систем хранения данных.
Цели
Каждый проект по миграции данных в облако требует четкого экономического обоснования для определения наилучших результатов. Однако есть несколько целей, общих для большинства миграций данных (см. ниже).
- Повышение эффективности, например, при увеличении времени безотказной работы, удаленной инфраструктуре или консолидации систем.
- Снижение затрат ресурсов на обслуживание оборудования, эксплуатацию серверной комнаты и круглосуточное обслуживание системных администраторов на месте.
- Базовая платформа данных для аналитики, искусственного интеллекта и создания корпоративных приложений.
Другие цели могут включать обеспечение доступности систем по истечении естественного срока службы, виртуализацию всей инфраструктуры и интеграцию данных с существующими облачными системами.
Трудности
Успешная миграция в облако включает в себя нечто большее, чем просто передачу файлов. Оно требует перечисленного ниже.
- Разрешения, средства управления доступом и другие метаданные остаются без изменений.
- Во время загрузки пользователи имеют непрерывный доступ к важным данным.
- Согласованность данных сохраняется, несмотря на любые перебои в работе сети
Передача больших объемов данных занимает много времени и часто требует значительного ручного вмешательства. Инвестирование в специализированные инструменты миграции может привести к невозвратным затратам после завершения перехода.
Следовательно, миграция в облако требует планирования, планирования и подходящих инструментов для ограничения эксплуатационных накладных расходов и снижения затрат. В противном случае процесс миграции данных может быть отложен или даже потребовать перезапуска с нуля.
Какие ключевые аспекты нужно учитывать при планировании миграции данных?
Руководству и командам, участвующим в миграции данных, следует учитывать следующее:
- Время, необходимое для переноса данных
- Возможную несовместимость источников и целевых систем
- Вопросы безопасности в процессе миграции
- Стоимость инструментов или процессов миграции
- Планирование сроков выполнения
- Тип миграции: пакетная, потоковая или «все сразу»
- Влияние на сетевые ресурсы
Этапы планирования перечислены ниже.
Оцените свои источники данных
Перед переносом данных необходимо проанализировать текущие конфигурации. Типы данных, хранилищ и методов доступа определяют подходящие варианты миграции.
Например, реляционные базы данных, размещенные на локальном сервере MySQL, можно относительно просто перенести в Amazon Relational Database Service (RDS), используя схожую систему управления базами данных. Однако миграция устаревших локальных ERP-систем может быть сложнее, особенно если цифровая трансформация требует смены программного обеспечения.
Определите и зафиксируйте все источники данных для облачной миграции, например:
- Базы данных
- Данные заявки
- Хранилище
- Модели данных
- От облака к облаку
Спланируйте миграцию
Это включает в себя организацию и настройку инструментов миграции, соответствующих существующим стандартам безопасности. Вы также должны определить порядок операций миграции данных и запланировать их заранее. Например, вы можете выбрать один из следующих вариантов:
- Репликация в реальном времени для автоматического асинхронного копирования объектов до синхронизации данных между обеими системами.
- Перенос снимков позволяет мгновенно получить полное состояние системы, которое затем обновляется небольшими передачами, чтобы наверстать упущенное и привести его в соответствие с текущим состоянием.
- Поэтапная миграция для переноса небольших наборов данных по одному.
Кроме того, спланируйте, как в конечном итоге оценить точность и качество миграции.
Краткое описание ключевых заинтересованных сторон
Миграция может негативно сказаться на бизнес-сотрудниках, клиентах и партнерах. Убедитесь, что ключевые заинтересованные стороны осведомлены о процессе миграции данных, планах, сроках и нарушениях доступности в период миграции. Также может потребоваться обучение, чтобы администраторы знали, как настраивать, а пользователи – получать доступ к данным и облачным сервисам после миграции.
Планируйте и регулярно проводите обновления в ходе процесса миграции, чтобы поддерживать положительное отношение участников.
Создайте и протестируйте решение
Для каждой миграции данных требуется своя стратегия. Некоторые типы миграции данных требуют быстрой и одновременной передачи небольшого объема данных, в то время как некоторые из них могут со временем накапливаться в больших объемах. То, как вы создадите и протестируете миграцию, будет зависеть от используемой стратегии и инструментов. Как правило, вы продолжаете использовать старые системы до тех пор, пока не завершите полное тестирование новых систем, чтобы убедиться, что процесс миграции завершен и корректен.
Что такое стратегии миграции данных?
Существуют разные стратегии и методы загрузки данных в облако AWS с помощью облачных сервисов миграции данных AWS.
Прямые сетевые подключения
Прямое сетевое соединение – это частное кабельное соединение между обычным и облачным маршрутизатором. Маршрутизатор на базе облака находится на границе частной сети облачного поставщика, предоставляя вам прямой доступ к его набору сервисов.
AWS Direct Connect позволяет использовать оптоволоконный кабель Ethernet для сетевого соединения уровня 3 между вашей организацией и AWS для безопасной передачи данных из сетей в сервисы AWS. У AWS Direct Connect есть офисы по всему миру, в которых можно настроить оборудование для миграции данных.
Шаги для начала представлены ниже.
Шаг 1. Выберите местоположение Direct Connect.
Выберите местоположение AWS Direct Connect, определите необходимые подключения и выберите размер порта. Для обеспечения повышенной пропускной способности или избыточности можно использовать несколько портов одновременно.
Шаг 2. Выберите тип подключения.
Выберите между выделенным или размещенным подключением. Выделенное соединение обеспечивает эксклюзивный доступ к нескольким виртуальным интерфейсам, а размещенное соединение использует перекрестное соединение и обеспечивает единый виртуальный интерфейс.
Шаг 3. Настройте виртуальные интерфейсы
Настройте один или несколько логических виртуальных интерфейсов (VIF) для подключения. Транзитные VIF подключаются к транспортным шлюзам AWS, публичные VIF получают доступ к публичным сервисам AWS через публичные IP-адреса, а частные VIF подключаются к Amazon VPC с помощью частных IP-адресов.
Передача данных с устройства
Масштабная миграция данных может быть более эффективной при переносе данных на устройство и их физической транспортировке в центр обработки данных. AWS Snowball – это сервис, который предоставляет надежные и защищенные устройства, с помощью которых можно безопасно загружать данные в облако. Эти шаги заключаются в указанном ниже.
1. По запросу AWS доставит устройство Snowball к вам.
2. Подключите устройство к сети и используйте AWS Snowball Client или AWS OpsHub для разблокировки и настройки устройства.
3. Скопируйте данные на устройство – встроенное шифрование обеспечивает безопасность во время передачи.
4. Отправьте устройство обратно в AWS, используя этикетку с предоплатой.
5. По прибытии AWS автоматически передаст данные в указанную корзину S3 и безопасно сотрет данные с устройства Snowball.
6. Когда процесс будет завершен, вы получите уведомление.
Загрузка потоков данных датчиков
Потоковые данные, собранные с устройств Интернета вещей (IoT), промышленных приборов и сенсорных сетей, можно передавать в облако в реальном времени вместо локального сбора и пакетной обработки. Amazon Data Firehose позволяет настроить поток с вашим источником данных, при необходимости преобразовать данные и затем сохранить их в одном из целевых сервисов хранения AWS.
Эти шаги заключаются в указанном ниже.
Шаг 1. Создание потока Firehose.
Поток Firehose – это основной объект Amazon Data Firehose. Его можно создать в консоли AWS и настроить для получения данных напрямую или из существующего потока данных Amazon Kinesis.
Шаг 2. Отправка данных в поток Firehose
Записи размером до 1000 КБ отправляются источниками данных в поток Firehose. Источниками данных могут быть приложения, серверы или другие сервисы AWS.
Шаг 3. Настройка буферизации и обработки данных
Amazon Data Firehose выполняет буферизацию входящих данных перед их доставкой в целевые сервисы. Можно задать размер буфера (в МБ) и интервал буферизации (в секундах).
Шаг 4. Выбор места назначения и понимание потока данных
Amazon Data Firehose доставляет потоковые данные в различные хранилища:
- Amazon S3 – данные сохраняются в корзине S3, возможно резервное копирование преобразованных данных.
- mazon Redshift – данные сначала сохраняются в S3, а затем загружаются в Redshift с помощью команды COPY.
- Сервис Amazon OpenSearch с возможным резервным копированием в S3.
Миграция баз данных
Миграция баз данных означает перенос реляционных баз данных, хранилищ данных, баз данных NoSQL и других типов хранилищ данных в форме базы данных. Службы миграции обнаруживают типы и схемы баз данных и напрямую копируют их в ту же инфраструктуру или переходят на новый целевой движок.
AWS Database Migration Service обнаруживает, оценивает, конвертирует и переносит рабочие нагрузки баз данных и аналитики в AWS с помощью автоматизированного процесса миграции данных. Сервис отличается высокой доступностью и минимальным временем простоя.
Если ваш случай переноса данных не указан выше, вы также можете попробовать указанные ниже сервисы.
- Семейство для пересылки файлов AWS – набор безопасных сервисов передачи файлов, таких как SFTP
- AWS Storage Gateway – набор гибридных локальных и облачных решений для хранения данных
- AWS Glue – набор сервисов для обнаружения, подготовки, перемещения и интеграции данных из различных источников
Каковы лучшие практики миграции данных?
Ниже приведены некоторые передовые практики миграции данных в облако.
Всегда сохраняйте резервные копии данных
Всегда сохраняйте резервные копии данных независимо от того, планируете ли вы перемещать их или просто выполнять повседневные операции. Не удаляйте исходные данные до тех пор, пока не убедитесь, что облачная конфигурация тщательно протестирована и работает должным образом с использованием собственных резервных копий.
Убедитесь, что все зависимости сопоставлены и перенесены
Данные часто привязываются к различным другим зависимостям и без них не могут работать корректно. Чтобы обеспечить плавный переход, убедитесь, что все зависимости сопоставлены и перенесены вместе с исходными данными. Разрешения пользователей и контроль доступа должны быть установлены на том же уровне, что и до миграции данных, и по возможности необходимо пересмотреть их для повышения безопасности.
Перепроверьте обязательства и конфигурации по безопасности и соответствию требованиям
До, во время и после миграции изучите политики и процедуры безопасности и соответствия требованиям, чтобы определить, какие процессы и средства контроля следует использовать при миграции.
Включите планирование вывода из эксплуатации старого оборудования
Старое оборудование может по-прежнему содержать восстанавливаемые данные, даже если файлы и места на диске были удалены. Чтобы обеспечить полное удаление всех данных, обеспечьте вывод из эксплуатации старых устройств, например, следуя рекомендациям NIST 800-88 по санитарной обработке носителей.
Как AWS может удовлетворить ваши потребности в миграции данных?
В AWS мы разработали полный набор инструментов и сервисов для миграции данных, которые позволяют легко, безопасно и недорого импортировать и экспортировать данные. Помощь доступна на каждом этапе всего процесса переноса данных. Посетите страницу Миграция в облако AWS, чтобы перенести и модернизировать AWS, или закажите бесплатную Оптимизацию оценки и лицензий AWS уже сегодня.