Обратиться в отдел продаж
Создать бесплатный аккаунт

Центральным звеном успешного развертывания облачного приложения являются данные. Во время оценки и планирования могут обнаружиться физические ограничения, присущие процессу миграции данных из локального местоположения в облако. Amazon предлагает набор инструментов, помогающих перемещать данные с использованием сетей, дорог и технологических партнеров. 

Data-Migration_Thumbnail
Управляемые AWS средства миграции данных в облако

Для большинства проектов перспектива переноса данных выглядит довольно устрашающе. Как быстро и аккуратно перенести данные из текущего местоположения в новое облако с минимальными сбоями, финансовыми и временными затратами? Есть ли оптимальный способ переноса гигабайтов, терабайтов или петабайтов данных?

Основной вопрос заключается в том, какой объем данных можно перенести, на какое расстояние и за какое время. Для расчета оптимистичного варианта воспользуйтесь следующей формулой:

Количество дней = (Общее кол-во байт)/(Мегабиты в секунду * 125 * 1000 * Использование сети * 60 секунд * 60 минут * 24 часа)

Например, при наличии подключения T1 (1,544 Мбит/с) и необходимости перемещения 1 ТБ данных (1024 * 1024 * 1024 * 1024 байт) в облако AWS или из него минимальное время загрузки данных с помощью этого сетевого подключения теоретически составит 82 дня при 80 % использовании сети.

Не переживайте. Мы это уже делали. Мы обнаружили, что клиенты применяют два основных подхода: используют очень простые неуправляемые средства миграции для перемещения данных или выбирают один из пакетов Amazon.

В качестве общего правила мы рекомендуем следующее.

Соединение Объем данных Инструменты
Менее 10 Мбит/с Менее 500 ГБ Неуправляемые
Более 10 Мбит/с Более 500 ГБ Управляемые

Существуют простые инструменты для быстрого перемещения небольших объемов данных из вашего хранилища в облачное хранилище Amazon.

  • rsync. Для копирования данных непосредственно в корзины S3 клиенты используют этот инструмент с открытым исходным кодом вместе с инструментами сторонних производителей для работы с файловой системой.
  • Интерфейс командной строки S3. Клиенты используют интерфейс командной строки Amazon S3 для написания команд перемещения данных непосредственно в корзины S3.
  • Интерфейс командной строки Glacier. Клиенты используют интерфейс CLI сервиса Amazon Glacier для переноса данных в хранилища Glacier.

Пакет сервисов для миграции, созданный компанией Amazon, включает множество различных инструментов, которые помогают эффективно выполнить данную задачу. Их можно разделить на две категории.

  • Оптимизация или замена Интернета. Нельзя недооценивать пропускную способность мчащегося по шоссе грузовика, до отказа забитого дисками. Эти способы идеальны для перемещения больших архивов, озер данных или в случаях, когда пропускная способность или объемы данных делают перемещение невозможным.
  • Дружественные интерфейсы для сервиса S3. Эти инструменты упрощают использование сервиса S3 с существующими собственными приложениями. Вместо переноса больших наборов данных за один раз они помогают интегрировать существующие процессы, такие как резервное копирование и восстановление или непрерывные потоки данных Интернета вещей, непосредственно с облачным хранилищем.

Вам требуется: Рекомендуем:

Интегрировать

онлайн-канал с облачным хранилищем AWS для получения следующих возможностей.

 

Частное подключение центра обработки данных непосредственно к региону AWS

AWS Direct Connect

Физический пакетный перенос в облако петабайтов данных

AWS Snowball

Создание гибридного хранилища, которое сохраняет существующие инвестиции в локальные ресурсы и добавляет к этим ресурсам облачные сервисы AWS

AWS Snowball Edge

Пакетный перенос в облако эксабайтов данных

AWS Snowmobile

Работа с S3 на больших расстояниях

Amazon S3 Transfer Acceleration
Способ перемещения больших пакетов данных в режиме офлайн для следующих задач:  

интеграции существующих локальных ресурсов с облаком

AWS Storage Gateway
Сторонние шлюзы

физического переноса петабайтов данных через устройство со встроенным хранилищем и вычислительными ресурсами

AWS Snowball Edge

переноса резервных копий и архивов в облако с минимальными сбоями

Технологическое партнерство

сбора данных из различных источников потоковой передачи

Amazon Kinesis Firehose

Для оптимального результата можно комбинировать эти сервисы. Например:

несколько запущенных параллельно заданий Snowball;
Direct Connect и технологическое партнерство;
Direct Connect и Transfer Acceleration;
Storage Gateway и технологическое партнерство (например, с поставщиком решений для резервного копирования) либо с применением VTL, либо с NFS-подключением

Data-Migration_Thumbnail-webinar
Вебинар по миграции данных в облако

Нужна помощь в вашем конкретном случае? Мы готовы помочь.

Обратиться в отдел продаж

Эти инструменты миграции оптимизируют или заменяют использование Интернета при одноразовом переносе данных из текущего местоположения непосредственно в центры обработки данных Amazon. Они не поддерживают API или возможность разработки, а передача данных может повлиять на существующие локальные процессы.

CDM_DirectConnect

Узнайте о пакетах партнеров Direct Connect, которые помогут распространить локальные технологии в облако.

Клиенты выбирают выделенное физическое подключение Direct Connect для ускорения передачи данных по сети между собственными и нашими центрами обработки данных.

AWS Direct Connect позволяет установить выделенное сетевое соединение между вашей корпоративной сетью и одним из местоположений AWS Direct Connect. Использование стандартных виртуальных локальных сетей 802.1q позволяет разбить такое выделенное соединение на несколько виртуальных интерфейсов. Это дает возможность использовать одно и то же соединение как для доступа к публичным ресурсам (например, объектам Amazon S3) с использованием пространства публичных IP-адресов, так и к частным ресурсам (например, инстансам Amazon EC2), работающим в Amazon Virtual Private Cloud (VPC), с использованием пространства частных IP-адресов, и при этом поддерживать разделение сети на публичную и частную среду. Виртуальные интерфейсы в любое время можно перенастроить в соответствии с вашими меняющимися потребностями.

Подробнее о сервисе Direct Connect.


Cloud computing benefits – Stop guessing capacity icon

Snowball – это решение для перемещения данных в масштабе нескольких петабайтов, в котором используются безопасные средства передачи больших объемов данных в облако AWS и из него. Использование Snowball решает целый ряд проблем, связанных с передачей больших объемов данных, в том числе проблему высокой стоимости передачи данных по сети, длительной передачи, а также проблемы безопасности. Передача данных посредством Snowball выполняется просто, быстро, безопасно и приблизительно в пять раз дешевле, чем при использовании скоростного Интернета.

Подробнее о сервисе Snowball.

Доступное подключение к Интернету Предположительно мин. Количество дней для передачи 100 ТБ при 80 % использовании сети Когда стоит использовать AWS Import/Export Snowball?
T3 (44,736 Мбит/с) 269 дней 2 ТБ или больше
100 Мбит/с 120 дней
5 ТБ или больше
1000 Мбит/с 12 дней
60 ТБ или больше

Преимущества облачных вычислений – Хватит предугадывать потребность в ресурсах

Snowmobile – это решение для перемещения данных в масштабе нескольких эксабайтов данных в облако AWS и из него. Для передачи больших объемов данных используется безопасный транспортный контейнер длиной 1,22 м. Использование Snowmobile решает целый ряд проблем, связанных с передачей больших объемов данных, в том числе проблему высокой стоимости передачи данных по сети, длительной передачи, а также проблемы безопасности. Передача данных с помощью Snowmobile происходит с участием клиента, выполняется быстро и безопасно, а стоимость передачи может быть в пять раз меньше, чем при передаче через высокоскоростное интернет-подключение.

Подробнее о сервисе Snowmobile.


Desktop_S3-transfer-acceleration

Сервис Amazon S3 Transfer Acceleration ускоряет передачу данных из публичного Интернета в Amazon S3. Вы можете максимально увеличить доступную вам пропускную способность независимо от расстояния и качества связи в Интернете, не используя специальные клиенты и проприетарные сетевые протоколы. Просто смените URL сервера, используемый вашей корзиной S3, и ускорение будет применено автоматически.

Сервис идеально подходит для повторяющихся заданий с переносом данных по всему миру, таких как загрузка мультимедиа, резервное копирование и задачи по обработке локальных данных, регулярно пересылаемых в центральное местоположение.

Подробнее о Transfer Acceleration


Иногда сбои просто неприемлемы. Данные сервисы прекрасно подойдут в случаях, когда хранилища устаревших данных планируется перемещать поэтапно со временем или когда новые данные собираются из нескольких источников вне облака. Эти сервисы для миграции могут использовать или дополнять текущие установки, например ПО для резервного копирования и восстановления или сети хранения данных (SAN). Кроме того, вы можете внедрить сервис AWS Firehose в собственные приложения.

CDM_StorageGateways

Шлюз располагается локально и соединяет вашу среду с облаком AWS. Это идеальное решение для гибридных сценариев, когда некоторая часть хранилища нужна локально для оптимальной производительности или соответствия требованиям, а другая часть может быть выгружена в сервис S3.

Комбинация сервиса AWS Direct Connect и вашего шлюза обеспечит оптимальную производительность.

Сервис AWS Storage Gateway упрощает локальное внедрение хранилища AWS. Существующие приложения подключаются к локальным шлюзам с использованием стандартных протоколов блоковых и ленточных хранилищ и сохраняют данные в Amazon S3 и Amazon Glacier.

  • Данные сжимаются и передаются в AWS в защищенном виде.
  • Настройки сетей хранения данных (SAN) позволяют хранить и кэшировать тома локально с резервным копированием на момент времени в виде снимков состояния EBS. Эти снимки состояния можно восстанавливать в облаке.
  • Конфигурация виртуальной ленточной библиотеки (VTL) эффективно интегрируется с существующим ПО для резервного копирования, чтобы выполнить экономичную замену ленточных накопителей на Amazon S3 или долгосрочное архивирование в Amazon Glacier.

Подробнее о сервисе AWS Storage Gateway.

Компания AWS сотрудничает со многими отраслевыми поставщиками физических шлюзов, которые соединяют традиционное резервное копирование с облаком. Свяжите существующие локальные данные с облаком Amazon, чтобы выполнить перемещение, не влияя на производительность и сохраняя существующие каталоги резервных копий.

  • Легко встраивается в существующую инфраструктуру
  • Может предлагать дедупликацию, сжатие, шифрование или ускорение сети WAN.
  • Кэширует недавние резервные копии локально, хранит все в облаке AWS.

Подробнее о партнерах по шлюзам.

CDM_ImportExport-Snowball_v3

Snowball Edge – это устройство для передачи данных в масштабе петабайтов со встроенным хранилищем и вычислительными возможностями. Snowball Edge можно использовать для перемещения больших объемов данных в облако AWS и из него, в качестве временного уровня хранения для больших локальных пакетов данных или для поддержки локальных рабочих нагрузок в удаленных или автономных местоположениях.

Подробнее о Snowball Edge.


CDM_TechPartnerConnectors_v2

Компания Amazon сотрудничает с отраслевыми поставщиками для упрощения миграции резервных копий и архивов в облако. Самым простым способом перемещения данных может быть использование связующей библиотеки S3, встроенной в ваше существующее ПО для резервного копирования. Явным преимуществом такого подхода является то, что каталог резервных копий сохраняет единообразие. То есть вы поддерживаете видимость и сохраняете управление над задачами, которые охватывают диск, ленту и облако.


CDM_KinesisFirehose

Amazon Kinesis Firehose – это самый простой способ загрузки потоковых данных в AWS. Этот инструмент позволяет захватывать и автоматически загружать потоковые данные в Amazon S3 и Amazon Redshift, а затем выполнять анализ с помощью уже имеющихся средств бизнес-аналитики и информационных панелей практически в режиме реального времени. Этот полностью управляемый сервис автоматически масштабируется в зависимости от пропускной способности и не требует постоянного администрирования. Кроме того, Amazon Kinesis Firehose позволяет создавать пакеты данных, а также сжимать и шифровать данные перед загрузкой, что сокращает объем памяти, используемый в целевом расположении, и повышает уровень безопасности. Всего за несколько минут с помощью консоли управления AWS можно создать поток доставки данных Firehose, настроить его несколькими щелчками мыши и запустить передачу данных из сотен тысяч источников, которые будут последовательно загружены в AWS.

Подробнее о сервисе AWS Kinesis Firehose.



Подробнее о различных сервисах AWS для перемещения локальных данных в облако AWS и из него.

Этот ресурс предназначен для предоставления рекомендаций по архитектуре приложений.

Подборка рекомендаций, платформ и ресурсов, которые помогут выполнить миграцию в облако AWS.

Программа, помогающая крупным компаниям, стремящимся работать в облаке, перенести существующие рабочие нагрузки в AWS.


Обратиться в отдел продаж