Вопросы и ответы по сервису миграции баз данных AWS

Вопрос. Что представляет собой сервис миграции баз данных AWS?

Сервис миграции баз данных AWS (AWS DMS) – это управляемый сервис миграции и репликации, который помогает быстро и безопасно перенести рабочие нагрузки баз данных и аналитики на AWS. Исходная база данных во время миграции остается полностью в рабочем состоянии, что сводит к минимуму время простоя использующих ее приложений.

Сервис миграции баз данных AWS позволяет выполнять оценивание, преобразование и миграцию данных, используя в качестве исходных и целевых БД большинство распространенных баз данных, как коммерческих, так и с открытым исходным кодом. Сервис миграции баз данных AWS поддерживает как однородные миграции, например из Oracle в Oracle, так и разнородные миграции между различными базами данных, например из Oracle или Microsoft SQL Server в Amazon Aurora.

С AWS Database Migration Service можно непрерывно и с низкой задержкой реплицировать данные из поддерживаемого источника в поддерживаемую цель. Например, вы можете реплицировать из нескольких источников в простом сервисе хранения данных Amazon (Amazon S3), чтобы создать высокодоступное и масштабируемое решение с озером данных.

Возможно также объединить базы данных в хранилище объемом несколько петабайт путем потоковой передачи данных в Amazon Redshift. Подробнее о поддерживаемых исходных и целевых базах данных.

Вопрос. Как начать работу с сервисом миграции баз данных AWS?

Начать работу с сервисом миграции баз данных AWS можно быстро и просто. Большинство задач репликации данных можно настроить не более чем за 10 минут.

Перейдите в раздел «Сервис миграции баз данных AWS» в Консоли управления AWS и запустите мастер начала миграции. Укажите исходную и целевую конечные точки, выберите существующий инстанс репликации или создайте новый, после чего примите правила преобразования схемы по умолчанию или определите собственные правила преобразования. Репликация данных начнется сразу по завершении работы мастера.

Вопрос. Сколько стоит использование сервиса AWS DMS?

Сервис AWS DMS – это бюджетный способ переноса рабочих нагрузок баз данных и аналитики. Вы платите только за репликацию между инстансами и хранение любых дополнительных журналов. Передача данных выполняется бесплатно. Подробные сведения о ценах можно найти на странице Цены на DMS.

Вопрос. Сколько стоит преобразование схемы AWS DMS?

Преобразование схемы AWS DMS предоставляется для использования бесплатно как часть DMS. Плата взимается только за использованное хранилище.

Вопрос. Какие шаги при использовании сервиса миграции баз данных AWS необходимо выполнить для переноса БД?

Во время простой миграции базы данных вы создадите целевую базу данных, перенесете схему базы данных, настроите процесс репликации данных, инициируете полную загрузку и последовательное отслеживание изменений данных и их применение, после чего, как только данные будут перенесены из исходной базы данных в целевую, закончите работу переключением рабочей среды на использование новой базы данных.

Вопрос. Отличается ли процесс миграции баз данных с использованием AWS DMS от непрерывной репликации данных?

Единственное отличие состоит в последнем действии (переключение рабочей среды), которое при непрерывной репликации данных выполнять не нужно. Ваше задание, связанное с репликацией данных, будет выполняться, пока вы не измените или не завершите его.

Вопрос. Можно ли наблюдать за ходом выполнения задания, связанного с миграцией базы данных?

Да. У AWS Database Migration Service есть разнообразные метрики, отображаемые в Консоли управления AWS. Они обеспечивают полное наблюдение за процессом репликации данных, предоставляя диагностические данные и данные производительности для каждой точки в конвейере репликации.

Сервис миграции баз данных AWS также интегрирован с другими сервисами AWS, например журналами CloudTrail и CloudWatch. Кроме того, вы можете использовать API сервиса миграции баз данных AWS и интерфейс командной строки AWS (AWS CLI) для интеграции со своими существующими инструментами или создания настраиваемых инструментов мониторинга для решения своих узкоспециальных задач.

Вопрос. Как интегрировать сервис миграции баз данных AWS с другими приложениями?

Сервис миграции баз данных AWS предоставляет соответствующий API, который позволяет создавать задачи репликации непосредственно из среды разработки, а также с помощью сценариев запускать эти задачи в запланированное время в течение дня.

API сервиса и интерфейс командной строки позволяет разработчикам и администраторам БД автоматизировать процесс создания, перезапуска и завершения задач репликации, а также управления ими.

Вопрос: Какие исходные и целевые БД поддерживает сервис миграции баз данных AWS?
Сервис миграции баз данных AWS (DMS) поддерживает целый ряд однородных и неоднородных вариантов репликации данных.

При этом либо исходная, либо целевая БД (либо обе) должны располагаться в RDS или в EC2. Репликация между двумя локальными БД не поддерживается.

• Источники, поддерживаемые DMS
• Целевые объекты, поддерживаемые DMS

Вопрос. Какие исходные и целевые движки поддерживает бессерверная конфигурация AWS DMS?

Бессерверная конфигурация AWS DMS Serverless поддерживает популярные базы данных и аналитические сервисы, такие как Oracle, Microsoft SQL Server, PostgreSQL, MySQL, Amazon Redshift, Amazon RDS, Amazon Aurora и другие. Ознакомьтесь с полным списком поддерживаемых движков.

Вопрос. Можно ли использовать сервис миграции баз данных AWS для преобразования кода Oracle PL/SQL и SQL Server T-SQL в хранимые процедуры Amazon RDS для MySQL и Amazon RDS для PostgreSQL?

Да, частью сервиса миграции баз данных AWS является инструмент преобразования схемы AWS DMS Schema Conversion (DMS SC), который автоматизирует преобразование кода Oracle PL/SQL или SQL Server T-SQL в эквивалентный код Amazon RDS для MySQL-диалекта SQL или в эквивалентный PL/pgSQL код PostgreSQL.

Если отдельные фрагменты не могут быть автоматически преобразованы в код целевого языка, DMS SC строго документирует места, которые разработчику приложения потребуется переписать вручную. Доступна также загружаемая версия под названием Инструмент преобразования схемы AWS (AWS SCT).

Вопрос. Можно ли осуществить перенос схемы БД с помощью сервиса миграции данных AWS?

Да. Когда нужно использовать более настраиваемый процесс миграции схемы (например, когда нужно перенести производственную базу данных, сохраненные процедуры и объекты вторичной базы данных), можно использовать встроенную в AWS DMS функцию преобразования схемы для гетерогенных миграций. Альтернативные варианты включают загрузку AWS Schema Conversion Tool или использование инструментов экспорта схем, нативных для исходного движка, если выполняются гомогенные миграции, например:

1. Import and Export Wizard в SQL Server Management Studio.
2. Инструмент SQL Developer Database Export в Oracle или сценарий экспорта с использованием пакета dbms_metadata.
3. Workbench Migration Wizard в MySQL.
   

Вопрос. Какая связь существует между Сервисом миграции баз данных AWS (AWS DMS) и Инструментом преобразования схемы AWS (AWS SCT)?

AWS DMS и AWS SCT работают вместе, чтобы обеспечить миграцию баз данных и поддержку действующих репликаций (например, для заполнения озер и хранилищ данных, синхронизации систем и т. д.). AWS SCT может копировать схемы баз данных для однородных миграций и преобразовывать их для выполнения неоднородных миграций. Поддерживаются схемы преобразований между БД (например, Oracle в PostgreSQL) или между хранилищами данных (например, Netezza в Amazon Redshift).

Как только для пустого целевого объекта создана необходимая схема, можно использовать AWS DMS или AWS SCT для переноса данных. Выбор инструмента зависит от объема данных и/или поддерживаемых ядер. Традиционно AWS DMS используется для переноса небольших реляционных нагрузок (менее 10 ТБ), в то время как AWS SCT используется прежде всего для миграции рабочих нагрузок, связанных с большими хранилищами данных. При этом AWS DMS поддерживает непрерывную репликацию для обеспечения синхронизации целевого объекта с источником, а AWS SCT – нет.

Вопрос. Можно ли использовать сервис миграции баз данных AWS не только для одноразовой миграции, но и для непрерывной репликации данных?

Да, сервис миграции баз данных AWS можно использовать как для разовой миграции данных в базы данных RDS и EC2, так и для непрерывной репликации данных. Сервис миграции баз данных AWS будет фиксировать изменения в исходной базе данных и применять их в целевой базе данных, последовательно осуществляя транзакции.

Можно осуществлять непрерывную репликацию данных из вашего ЦОД в базы данных в AWS или в обратном направлении, реплицируя данные из базы данных в AWS в базу данных вашего ЦОД. Постоянную и непрерывную репликацию данных можно выполнять между однородными или неоднородными БД. Для обеспечения высокой доступности в процессе репликации рекомендуется использовать несколько зон доступности.

Вопрос. Почему рекомендуется использовать сервис миграции баз данных AWS, а не решение репликации под управлением пользователя?

Сервис миграции баз данных AWS очень прост в использовании. Задачи репликации могут быть настроены за считаные минуты, а не за часы или дни, как обычно бывает с решениями репликации под управлением пользователя, которые необходимо устанавливать и настраивать. AWS Database Migration Service отслеживает задачи репликации, сбои сети и хостов, а также автоматически подготавливает замену хоста в случае сбоев, которые невозможно устранить. Пользователям AWS Database Migration Service не приходится распределять чрезмерное количество ресурсов и инвестировать в дорогостоящее оборудование и программное обеспечение для репликации, как обычно приходится делать в случае решений под управлением пользователя. 

AWS Database Migration Service предлагает пользователям все преимущества цен по требованию и масштабирования инфраструктуры репликации в сторону увеличения или уменьшения (в зависимости от нагрузки). При репликации данных Сервис миграции баз данных AWS плотно взаимодействует с инструментом преобразования схемы AWS, упрощая выполнение проектов, связанных с миграцией неоднородных БД.

Вопрос. Можно ли реплицировать данные из зашифрованных источников данных?

Да, сервис миграции данных AWS может выполнять чтение данных из зашифрованных БД и запись в них. AWS Database Migration Service подключается к конечным точкам ваших БД на уровне интерфейса SQL. Если вы используете функции прозрачного шифрования данных Oracle или SQL Server, то AWS Database Migration Service сможет извлечь расшифрованные данные из таких исходных БД и реплицировать их на целевые БД.

То же самое относится к шифрованию на уровне хранения. Если у AWS Database Migration Service будет достаточно данных для доступа к исходной БД, он сможет подключаться к исходной БД и передавать данные (в расшифрованном виде) в целевую БД.

Для обеспечения конфиденциальности вашей информации рекомендуется использовать шифрование данных при хранении в целевой БД. Если вы используете шифрование на уровне приложений, данные будут передаваться через сервис миграции данных AWS как есть, в зашифрованном формате, а затем записываться в целевую БД.

Вопрос. Что такое бессерверная конфигурация AWS DMS?

Бессерверная конфигурация Сервиса миграции баз данных AWS (AWS DMS) автоматически выделяет, отслеживает и масштабирует ресурсы, чтобы сделать миграцию баз данных и аналитики в AWS проще и экономичнее. Благодаря бессерверной конфигурации AWS DMS вам больше не нужно выделять ресурсы для миграции или вручную отслеживать и масштабировать их для непрерывной репликации данных. Бессерверная конфигурация AWS DMS оптимизирует ресурсы в соответствии со спросом, поэтому вы платите только за используемые ресурсы. Благодаря этому решение может использоваться в таких популярных случаях, как непрерывная репликация данных, а также при сложных неоднородных миграциях между различными исходными и целевыми движками.

Вопрос. Можно ли использовать бессерверную конфигурацию AWS DMS для непрерывной репликации?

Да, бессерверную конфигурацию AWS DMS можно использовать для непрерывной репликации. Бессерверная конфигурация DMS поддерживает варианты развертывания как в одной, так и в нескольких зонах доступности.

Вопрос. Какую функцию DMS следует использовать для миграции однородных баз данных?

При миграции однородных данных мы рекомендуем использовать встроенные нативные инструменты DMS для поддерживаемых движков, поскольку они хорошо знакомы и легко переносятся. Вам не нужно организовывать или контролировать миграцию; вы платите только за часы, использованные во время нее. Чтобы проверить поддерживаемые движки, перейдите на страницу документации DMS.

Для миграции гетерогенных данных или непрерывной репликации с колебаниями данных мы рекомендуем использовать бессерверную конфигурацию AWS DMS, поскольку она автоматически отслеживает и масштабирует ресурсы в соответствии с требованиями без ручного вмешательства или чрезмерного выделения ресурсов, что позволяет сэкономить время и деньги. С другой стороны, инстансы по требованию хорошо подходят для предсказуемой и стабильной передачи данных, поскольку их размер можно оптимизировать по производительности и стоимости. Информацию о поддерживаемых движках см. в документации по бессерверной конфигурации AWS DMS.

Вопрос. Является ли миграция однородных данных AWS DMS бессерверной?

Да, встроенные нативные инструменты AWS DMS для миграции однородных данных бессерверны. Они не используют инстансы репликации и автоматически отслеживают и масштабируют ресурсы миграции по мере необходимости для обеспечения бесперебойности.

Вопрос. Что такое AWS DMS Fleet Advisor?

AWS DMS Fleet Advisor – это бесплатный, полностью управляемый компонент Сервиса миграции данных Amazon (AWS DMS). Он автоматизирует планирование миграции и помогает переносить большие базы данных и аналитические парки в облако с минимальными усилиями. Для обнаружения локальных баз данных можно использовать автономный коллектор AWS DMS Fleet Advisor или модуль сбора баз данных и аналитики в Agentless Collector Сервиса обнаружения приложений AWS.

Вопрос. В каких случаях следует использовать AWS DMS Fleet Advisor, Сервис обнаружения приложений AWS и Инструмент оценки миграции?

AWS DMS Fleet Advisor предназначается для пользователей, которым нужно перенести большое количество серверов баз данных и аналитики в AWS. Когда вы будете готовы перенести рабочие нагрузки баз данных и аналитики в целевые сервисы AWS, используйте AWS DMS Fleet Advisor, чтобы обнаружить и проанализировать рабочие нагрузки баз данных онлайн-обработки транзакций (OLTP) и аналитической обработки онлайн (OLAP). С помощью Fleet Advisor можно создать настраиваемый план миграции, определив сложность переноса исходных баз данных в целевые сервисы AWS.

Сервис обнаружения приложений AWS (ADS) и Инструмент оценки миграции предназначены для универсального обнаружения вычислительных систем и подключенных блочных хранилищ. Migration Evaluator используется клиентами, которые начинают миграцию и нуждаются в фактологической аргументации в пользу AWS. ADS служит для поддержки Центра миграции AWS, позволяя визуализировать зависимости «сервер-сервер», создавать группы приложений и отслеживать выполнение миграции.

Вопрос. В каких случаях следует использовать коллектор AWS DMS Fleet Advisor и Сервис обнаружения приложений AWS?

Большинству клиентов мы рекомендуем использовать Agentless Collector Сервиса обнаружения приложений AWS в регионах, где это возможно, поскольку этот сервис поддерживает миграцию серверов через Центр миграции AWS, а также позволяет обнаруживать локальные базы данных. Для всех других регионов мы рекомендуем использовать коллектор AWS DMS Fleet Advisor. Метаданные базы данных и метрики использования, собранные как из автономного коллектора AWS DMS Fleet Advisor, так и из сервиса Agentless Collector AWS ADS, будут доступны в AWS DMS Fleet Advisor.

Используйте Agentless Collector AWS ADS, если у вас есть серверная среда VMware vCenter, иначе коллектор AWS DMS Fleet Advisor можно будет установить на Microsoft Windows Server 2012 или более поздней версии.
 

Вопрос. Что представляет собой политика поддержки жизненного цикла AWS DMS?

Политика поддержки жизненного цикла AWS DMS определяет, как долго поддержка будет доступна для каждой версии DMS с момента выпуска версии до момента прекращения поддержки.  

Вопрос. В чем цель политики поддержки жизненного цикла?

Политика поддержки жизненного цикла направлена на обеспечение предсказуемых и последовательных рекомендаций по поддержке для каждого выпуска версии AWS DMS. Эти рекомендации помогут клиентам стратегически планировать миграцию и модернизацию.

Вопрос. Каковы сроки поддержки выпусков AWS DMS?

Спустя 18 месяцев после первоначального выпуска каждой новой версии DMS ее поддержка будет прекращена. Чтобы ознакомиться с актуальным расписанием всех существующих версий DMS, перейдите в новый раздел «Политика поддержки жизненного цикла» в консоли DMS. 

Вопрос. Как осуществляется информирование о сроках?

Сроки поддержки каждого выпуска версии AWS DMS будут указаны в соответствующих примечаниях к выпуску DMS, а также в новом разделе «Политика поддержки жизненного цикла» в консоли DMS. Если вы используете версии, поддержка которых закончится в течение 90 дней, вы увидите предупреждение рядом с версией сервиса в разделе «Инстанс репликации». Кроме того, AWS будет ежеквартально отправлять владельцам инстансов DMS напоминание по электронной почте о том, что они используют версию, поддержка которой прекратится в следующем квартале.

Вопрос. Когда вступила в силу политика поддержки жизненного цикла AWS DMS? 

Политика вступила в силу 1 января 2023 года. Все инстансы, достигшие даты окончания поддержки через 18 месяцев после выпуска, будут автоматически обновлены до последней предпочтительной версии DMS независимо от настройки автоматического обновления.

Вопрос. Что такое предпочтительная версия DMS?

Сервис DMS назначает один из новейших выпусков DMS в качестве предпочтительной версии. Эта предпочтительная версия используется для автоматического обновления и является выбором по умолчанию для клиентов, создающих новый инстанс DMS.

Вопрос. Как определить последнюю предпочтительную версию AWS DMS?

Новые версии DMS выпускаются только после тщательного тестирования. После выпуска новой версии команда сервиса DMS внимательно следит за показателями надежности и отзывами клиентов. Как только мы убедимся в отсутствии существенных проблем с новым выпуском, мы отметим его как новую предпочтительную версию, которую вы сможете найти при выборе версии для создания инстанса репликации.

Вопрос. Одинаков ли срок действия политики поддержки для основной и дополнительной версий DMS?

AWS DMS не делает различий между выпуском основной и дополнительной версий и не планирует применять разные политики поддержки. 

Вопрос. Будет ли AWS DMS автоматически обновлять мой инстанс до последней предпочтительной версии?

Если вы включите функцию автоматического обновления, ваш инстанс репликации будет автоматически обновляться до последней предпочтительной версии по мере ее появления. Если вы откажетесь от автоматического обновления, AWS DMS обновит ваши инстансы до последней предпочтительной версии по достижении даты окончания срока службы, о чем будет сообщено по электронной почте и в уведомлении на консоли перед обновлением. Подробнее о том, как обновить версию движка DMS с помощью Консоли AWS или AWS CLI, можно узнать в этом руководстве пользователя DMS.

Вопрос. Как включить автоматическое обновление?

Настройка автоматического обновления в инстансе репликации включена по умолчанию. Чтобы проверить или изменить этот параметр с помощью AWS CLI, API DMS или консоли, вы можете использовать следующее руководство.

Вопрос. Что произойдет с заданием во время обновления? 

Если таблицы в задании миграции находятся в фазе репликации текущих изменений (CDC), AWS DMS приостанавливает задание на время применения исправления. Затем миграция продолжается с того места, на котором она остановилась, после применения исправления.

Если во время применения исправления AWS DMS выполняет операцию с полной нагрузкой, AWS DMS перезапускает миграцию для таблицы. Эти обновления будут происходить во время периода обслуживания, указанного для инстанса репликации. Более подробную информацию вы можете найти в руководстве по работе с периодом обслуживания AWS DMS.

Вопрос. У меня есть инстансы на версии, которая не покрывается поддержкой. Как это повлияет на мои существующие инстансы и задания? Что вы рекомендуете в качестве следующих шагов?

После истечения срока службы версии DMS сервис AWS DMS может удалить версию выпуска из консоли и обновить ваш инстанс репликации до последней предпочтительной версии, чтобы продолжить оказание поддержки. Мы рекомендуем вам как можно скорее перейти на последнюю версию AWS DMS.

Вопрос. С кем я могу связаться, если мне нужна дополнительная информация?

Свяжитесь с командой поддержки разработчиков AWS, чтобы узнать больше.