AWS DataSync – это высокоскоростной онлайн-сервис передачи данных, который позволяет легко и безопасно перемещать данные куда угодно: локально, на периферии или в облаке. DataSync предлагает простые и предсказуемые цены с оплатой по факту использования. Вы платите фиксированную плату за гигабайт данных, передаваемых между хранилищами. За выполнение заданий, настроенных для расширенного режима, также взимается плата. Эти платежи покрывают расходы на перемещение, проверку и синхронизацию данных. При использовании DataSync не взимаются авансовые и минимальные платежи.
Применяя Обнаружение AWS DataSync, вы сможете бесплатно запускать задачи по обнаружению данных на протяжении 31 дня и получать рекомендации. Обнаружение DataSync позволяет хранить собранные данные и соответствующие рекомендации в течение 60 дней после выполнения задачи.
Передача данных в улучшенном режиме
В расширенном режиме можно передавать практически неограниченное количество объектов между хранилищами с более высокой производительностью, чем в базовом режиме. Задачи в расширенном режиме оптимизируют и упрощают процесс переноса данных с помощью параллельного перечисления, подготовки, передачи и проверки данных. В настоящее время расширенный режим доступен только для переводов между местоположениями Amazon S3.
Передача данных в базовом режиме
В базовом режиме действуют квоты на количество файлов и объектов в наборе данных. Базовый режим последовательно готовит, передает и проверяет файлы вместе с объектами в наборе данных, что замедляет работу большинства рабочих нагрузок по сравнению с расширенным режимом. Базовый режим поддерживает все доступные сегодня типы местоположений DataSync.
Дополнительные расходы
При использовании DataSync для копирования данных плата за используемое хранилище и передачу данных в таких сервисах AWS, как Простой сервис хранения данных Amazon (Amazon S3), Эластичная файловая система Amazon (Amazon EFS), Amazon FSx для Windows File Server, Amazon FSx для Lustre, Amazon FSx для OpenZFS, Amazon FSx для NetApp ONTAP и Сервис управления ключами AWS (AWS KMS), а также за запросы на чтение и запись данных начисляется по стандартным тарифам.
Оплата сервиса AWS PrivateLink начисляется за адреса интерфейса Виртуального частного облака Amazon (Amazon VPC), которые вы создаете для управления трафиком между агентами и сервисом DataSync. Расходы на PrivateLink связаны только с трафиком управления. Сюда входят команды сервиса DataSync агентам, например StartTaskExecution. При передаче сервисом DataSync файлов или объектов дополнительных расходов на использование PrivateLink нет. Дополнительно начисляется плата за использование журналов Amazon CloudWatch, событий Amazon CloudWatch и метрик Amazon CloudWatch по стандартным тарифам.
Копирование данных в Amazon S3 и обратно
При копировании данных в S3 или обратно с вас взимается стандартная плата за следующие запросы S3: LIST, HEAD, GET, PUT и COPY. Конкретные выполняемые операции зависят от конфигурации вашей задачи DataSync. Чтобы получить подробную информацию, прочитайте об оценке затрат на запросы S3 в нашей документации. Затраты на запросы и хранение могут быть различными для различных классов хранилищ S3. С вас может взиматься дополнительная плата за чтение и запись объектов в различные классы хранилищ S3. Узнайте о работе с классами хранилищ Amazon S3 в нашей документации.
Копирование данных в регионы Amazon и обратно
При копировании данных из AWS в локальную систему хранения начисляется плата за передачу ИСХОДЯЩИХ данных AWS из исходного региона AWS. При копировании данных между регионами плата начисляется за передачу данных между регионами (оплачивается как передача ИСХОДЯЩИХ данных из исходного региона в регион назначения). При копировании данных между сервисами AWS с использованием агента AWS DataSync EC2 вы платите за передачу данных между регионами и передачу данных между зонами доступности. Подробную информацию см. на странице цен на передачу данных.
Использование обнаружения AWS DataSync
При использовании Обнаружения DataSync оплата Менеджера секретов AWS начисляется за секреты, которые вы создаете, чтобы хранить учетные данные для локальных систем сберегания информации, а также за вызовы API Менеджера секретов, выполненные DataSync для получения доступа к секретам.
Примеры цен в расширенном режиме
В приведенных ниже примерах цен предполагается, что задача передачи данных DataSync настроена в расширенном режиме для повышения производительности, масштабируемости, улучшения мониторинга и метрик.
Пример 1. Копирование набора данных объемом 50 ТБ из одной корзины S3 в другую в том же регионе с использованием класса хранилища S3 «Стандартный».
DataSync выполнит одноразовое копирование объектов из одной корзины S3 в целевую корзину в том же регионе. Объекты в исходной и целевой корзинах создаются с использованием класса хранилища S3 «Стандартный». После выполнения задачи DataSync существующие объекты в исходной корзине будут просканированы, чтобы определить, какие объекты следует скопировать. При сканировании к объектам в каждой корзине S3 отправляются как минимум запросы LIST и HEAD, как сказано в документации AWS DataSync. Предположим, что исходный набор данных содержит 5 млн объектов.
(50 ТБ * 1024 ГБ, скопированных с помощью DataSync * 0,015 USD/ГБ) +
(5000 запросов S3 LIST * 0,005 USD / 1000) +
(5 млн запросов S3 HEAD * 0,0004 USD / 1000) +
(5 млн запросов S3 GET * 0,0004 USD / 1000) +
(5 млн запросов S3 PUT * 0,005 USD / 1000) +
(выполнение 1 задачи * 0,55 USD)
= 768 USD + 0,025 USD + 2 USD + 2 USD + 25 USD + 0,55 USD
= 797,58 USD
Пример 2. Ежедневная репликация набора данных объемом 5 ТБ из одной корзины S3 в другую в том же регионе с использованием класса хранилища с Мгновенным извлечением данных S3 Glacier.
DataSync реплицирует объекты из одной корзины S3 в целевую корзину в том же регионе по расписанию, настроенному на выполнение один раз в день. Объекты в исходной и целевой корзинах созданы с использованием класса хранилища с Мгновенным извлечением данных Glacier. При каждом ежедневном повторении задачи DataSync будет сканировать существующие объекты в исходной и целевой корзинах, чтобы определить, какие из них требуется скопировать. При сканировании к объектам в каждой корзине S3 отправляются как минимум запросы LIST и HEAD, как сказано в документации AWS DataSync. В этом примере предположим, что в день изменяется 5 % данных.
Стоимость использования DataSync для каждой ежедневной копии размером 5 ТБ с файлами размером по 16 МБ в Amazon S3 в регионе «Восток США (Огайо)», если предположить, что к каждой корзине S3 совершается 4000 запросов LIST, один запрос GET на каждый скопированный объект и один запрос HEAD в каждой корзине S3:
Объем данных, копируемых инкрементально, составляет 5 % от 5 ТБ = 256 ГБ
(256 ГБ скопировано с использованием DataSync * 0,015 USD / ГБ) +
(256 ГБ получено с использованием Мгновенного извлечения S3 Glacier * 0,03 USD) +
(4000 запросов LIST к S3 * 2 * 0,02 USD / 1000) +
(5 ТБ * 1024 ГБ *1024 МБ / запросы HEAD к S3 по 16 МБ * 2 * 0,01 USD / 1000) +
(256 ГБ * 1024 МБ / запросы GET к S3 по 16 МБ * 0,01 USD / 1000) +
(256 ГБ * 1024 МБ / запросы PUT к S3 по 16 МБ * 0,02 USD / 1000) +
(выполнение 1 задачи в день * 0,55 USD)
= 3,84 USD + 7,68 USD + 0,16 USD + 6,55 USD + 0,16 USD + 0,32 USD + 0,55 USD
= 19,26 USD в день
Примеры цен на базовый режим
В приведенных ниже примерах цен предполагается, что задача передачи данных DataSync настроена для базового режима.
Пример 1. Миграция 50 ТБ из локального хранилища в пустую корзину S3 с использованием класса хранилища S3 «Стандартный».
Стоимость использования DataSync при выполнении однократной миграции в пустую корзину Amazon S3 50 ТБ файлов размером по 16 МБ каждый в регионе Восток США (Огайо):
(50 ТБ данных, скопированных в S3 * 1024 ГБ * 0,0125 USD/ГБ) + (1 запрос LIST к S3 * 0,005 USD / 1000) + (50 ТБ / 16 МБ запросов PUT к S3 * 0,005 USD / 1000)
= 640 USD + 0 USD + 16,38 USD
= 656,38 USD
Пример 2. Инкрементальное копирование 10 ТБ из локального хранилища в корзину S3, в которой уже находится 50 ТБ данных, с использованием класса хранилища S3 Стандартный
В этом примере DataSync отсканирует существующие объекты в корзине S3, чтобы определить, какие данные нужно скопировать из локального хранилища. При сканировании к объектам в корзине S3 отправляются как минимум запросы LIST и HEAD, как сказано в документации AWS DataSync.
Стоимость использования DataSync для каждой инкрементальной копии размером 10 ТБ с файлами размером по 16 МБ в S3 в регионе «Восток США (Огайо)», если предположить, что к каждому объекту S3 совершается 500 запросов LIST и один запрос HEAD:
(копирование 10 ТБ в S3 с использованием DataSync * 1024 ГБ * 0,0125 USD за ГБ) +
(500 запросов LIST к S3 * 0,005 USD / 1000) +
(50 * 1024 *1024 МБ / запросы HEAD к S3 по 16 МБ * 0,0004 USD / 1000) +
(10 * 1024 * 1024 МБ / запросы PUT к S3 по 16 МБ * 0,005 USD / 1000)
= 128 USD + 0 USD + 1,31 USD + 3,28 USD
= 132,59 USD
Пример 3. Ежедневная репликация набора данных объемом 5 ТБ из одной корзины S3 в другую в том же регионе с использованием класса хранилища с Мгновенным извлечением данных S3 Glacier
В этом примере DataSync реплицирует объекты из одной корзины S3 в целевой корзине в том же регионе. Объекты в исходной и целевой корзинах созданы с использованием класса хранилища с Мгновенным извлечением данных Glacier. При каждом ежедневном повторении задачи DataSync будет сканировать существующие объекты в исходной и целевой корзинах, чтобы определить, какие из них требуется скопировать. При сканировании к объектам в каждой корзине S3 отправляются как минимум запросы LIST и HEAD, как сказано в документации AWS DataSync. В этом примере предположим, что в день изменяется 5 % данных.
Стоимость использования DataSync для каждой ежедневной копии размером 5 ТБ с файлами размером по 16 МБ в Amazon S3 в регионе Восток США (Огайо), если предположить, что к каждой корзине S3 совершается 4000 запросов LIST, один запрос GET на каждый скопированный объект и один запрос HEAD в каждой корзине S3:
Объем данных, копируемых инкрементально, составляет 5 % от 5 ТБ = 256 ГБ
(256 ГБ скопировано с использованием DataSync * 0,0125 USD / ГБ) +
(256 ГБ получено с использованием Мгновенного извлечения S3 Glacier * 0,03 USD) +
(4000 запросов LIST к S3 * 2 * 0,02 USD / 1000) +
(5 ТБ * 1024 ГБ *1024 МБ / запросы HEAD к S3 по 16 МБ * 2 * 0,01 USD / 1000) +
(256 ГБ * 1024 МБ / запросы GET к S3 по 16 МБ * 0,01 USD / 1000) +
(256 ГБ * 1024 МБ / запросы PUT к S3 по 16 МБ * 0,02 USD / 1000)
= 3,20 USD + 7,68 USD + 0,16 USD + 6,55 USD + 0,16 USD + 0,32 USD
18,07 USD в день
Пример 4. Перенос 100 ТБ данных с самоуправляемого сервера на сервер Amazon FSx для Windows File Server
Стоимость миграции 100 ТБ из локального сервера Windows File Server в Amazon FSx с помощью DataSync:
(100 ТБ скопированных в Amazon FSx для Windows File Server данных * 1024 ГБ * 0,0125 USD/ГБ)
= 1280,00 USD
Пример 5. Текущая передача данных для процесса обработки и распространения в облаке
Предположим, что каждый день вы передаете 1 ТБ данных в сервис Amazon EFS. Сумма расходов за 31 день составит:
(1 ТБ скопированных в сервис EFS данных * 1024 ГБ * 0,0125 USD / ГБ) * 31 день
= 396,80 USD
Пример 6. Инкрементная репликация файловой системы для обеспечения бесперебойной работы бизнеса с помощью инкрементной передачи
Предположим, у вас есть задание по репликации данных, которое выполняет однократное копирование файловой системы объемом 10 ТБ в сервис Amazon EFS в Азиатско-Тихоокеанском регионе (Сидней), а затем ежедневно осуществляет репликацию 1 ТБ измененных данных. Стоимость первоначального копирования и дальнейшей синхронизации в течение 31 дня будет складываться следующим образом:
10 ТБ * 1024 ГБ * 0,0125 USD/ГБ = 128 USD (первоначальная передача данных)
+ 1 ТБ * 1024 ГБ * 0,0125 USD/ГБ * 31 день (инкрементная передача данных)
= 396,80 USD в месяц на регулярной основе
Дополнительные ресурсы по ценам
Простой расчет ежемесячных расходов на AWS.
Связаться со специалистами AWS и получить индивидуальное предложение.