Общие вопросы

Вопрос: Что такое AWS Snowball?

AWS Snowball – это решение для передачи данных, которое позволяет ускорить перенос терабайтов и петабайтов данных в облако AWS или из него благодаря использованию безопасных устройств хранения для физического перемещения данных. Использование AWS Snowball решает распространенные проблемы, связанные с передачей больших объемов данных, такие как высокая стоимость и длительность передачи по сети, а также обеспечение безопасности.

Вопрос: Как работает AWS Snowball?

AWS Snowball ускоряет передачу петабайтов данных в облако AWS и из него с помощью защищенных устройств и клиента Snowball. Для начала работы необходимо создать в Консоли управления AWS одно или несколько заданий, чтобы запросить одно или несколько устройств Snowball (в зависимости от того, сколько данных требуется передать). Кроме того, необходимо загрузить и установить клиент Snowball. После получения устройства подключите его к своей локальной сети, установите IP-адрес вручную или с помощью DHCP и используйте клиент, чтобы указать каталоги, которые необходимо скопировать. Клиент автоматически зашифрует и скопирует данные на устройство. Когда передача данных будет завершена, вы получите оповещение. Когда передача завершится и устройство будет готово к обратной отправке, на метке пересылки E Ink автоматически появится информация о соответствующем ЦОД AWS. Состояние задания можно отслеживать с помощью сервиса Amazon Simple Notification Service (SNS), текстовых сообщений или непосредственно в консоли.

Вопрос: В каких случаях стоит использовать AWS Snowball?

AWS Snowball оптимально подходит для быстрой и безопасной передачи терабайтов и петабайтов данных в облако AWS. Решением AWS Snowball также стоит воспользоваться, если вы не хотите осуществлять дорогостоящую модернизацию сетевой инфраструктуры, у вас регулярно накапливается большой объем данных, вы работаете в физически изолированной среде или находитесь в регионе, где широкополосное интернет-подключение недоступно или слишком дорого.

Вопрос: Какие объемы данных можно передавать с помощью AWS Snowball?

С помощью AWS Snowball можно передавать практически любые объемы данных, используя несколько устройств параллельно или последовательно, одно за другим. Например, можно перенести 150 ТБ данных за один раз, используя одновременно два устройства по 80 ТБ, а можно заказать одно устройство для перемещения 80 ТБ данных и затем второе для оставшихся 70 ТБ. 

Вопрос: Что такое клиент Snowball?

Клиент Snowball – это программное обеспечение, которое устанавливается на локальный компьютер и используется для эффективного обнаружения, сжатия, шифрования и передачи данных из указанных каталогов на устройство Snowball. Скачать клиент Snowball можно здесь.

Вопрос: Сколько времени занимает передача данных?

Для оценки времени, которое займет передача данных, можно использовать клиент AWS Snowball ( подробнее о передаче данных с помощью AWS Snowball). Скорость передачи данных зависит от множества факторов, включая скорость в локальной сети, размеры файлов и скорость считывания данных с локальных серверов.

Клиент Snowball копирует данные на устройство Snowball с максимально возможной в текущих условиях скоростью (например, при определенных условиях локальной среды передача 48 ТБ данных может быть выполнена менее чем за сутки). Вся процедура передачи данных в AWS занимает около недели, включая стандартное время на пересылку и обработку устройств в ЦОД AWS. За то же время можно передать вдвое больший объем данных, используя два устройства одновременно, или скопировать до 80 ТБ данных на одно устройство Snowball большего объема за 2,5 суток, что увеличит общее время передачи данных до полутора недель.

Вопрос: Каковы технические характеристики устройства Snowball?

Полный перечень технических характеристик оборудования, включая интерфейсы, температурные требования, требования по электропитанию, уровень шума в децибелах и габариты, см. на странице документации AWS Snowball.

Вопрос: В течение какого времени допускается использование устройства Snowball для конкретного задания?

Из соображений безопасности передача данных должна быть завершена за 90 дней с момента подготовки устройства Snowball. Этого времени достаточно, чтобы переместить до 80 ТБ данных с использованием одного устройства Snowball.

Вопрос: Какие сетевые интерфейсы поддерживает устройство Snowball?

Устройство Snowball оснащено сетевыми интерфейсами 10 Гбит/с с портами RJ45, а также медными и оптическими сетевыми портами SFP+. Подробнее см. на странице технических характеристик AWS Snowball.

Вопрос: Каковы условия доставки устройств Snowball по умолчанию? Возможна ли срочная доставка?

По умолчанию сервис AWS Snowball использует услугу двухдневной доставки от UPS. При наличии срочных заданий можно воспользоваться ускоренной доставкой.

Доступность по регионам

Вопрос: В каких регионах доступен сервис Snowball?

Актуальную информацию можно найти на страницах доступности сервисов по регионам.

Сервис Snowball можно использовать во всех штатах США.

Обратите внимание, что модели емкостью 50 ТБ доступны только в США.

Вопрос: Можно ли отправить устройство Snowball в другой регион AWS?

Нет. Устройства Snowball можно запрашивать и использовать в пределах одного региона AWS. Устройство можно вернуть только в тот регион, откуда был направлен запрос на его получение. В регионах AWS на территории ЕС устройства Snowball могут использоваться для импорта и экспорта в любой из 28 стран ЕС. Актуальную информацию можно найти на страницах доступности сервисов по регионам.

Рекомендации по использованию AWS Snowball

Вопрос: В каких случаях целесообразнее использовать устройство Snowball, а не передачу данных через Интернет?

Решение Snowball идеально подходит для быстрой и безопасной передачи терабайтов и петабайтов данных в облако AWS. Решением Snowball также стоит воспользоваться, если вы не хотите осуществлять дорогостоящую модернизацию сетевой инфраструктуры, у вас регулярно накапливается большой объем данных, вы работаете в физически изолированной среде или находитесь в регионе, где скоростное интернет-подключение недоступно или слишком дорого.

Практика показывает, что использовать Snowball целесообразно, если загрузка данных в облако AWS с использованием свободной пропускной способности имеющегося интернет-подключения займет более недели. К примеру, как описано в таблице ниже, если имеется соединение со скоростью 100 Мб, которое можно целиком выделить для передачи данных, и необходимо передать 100 ТБ данных, на передачу данных по такому соединению потребуется более 100 дней. Передачу такого объема данных можно выполнить примерно за неделю, если использовать несколько устройств Snowball.

Доступное подключение к Интернету Предположительно мин. Количество дней для передачи 100 ТБ при 80 % использовании сети Когда стоит использовать AWS Snowball?
T3 (44,736 Мбит/с) 269 дней 2 ТБ или больше
100 Мбит/с 120 дней
5 ТБ или больше
1000 Мбит/с 12 дней
60 ТБ или больше

Вопрос: В каких случаях целесообразнее использовать устройство Snowball, а не сервис AWS Direct Connect?

Сервис AWS Direct Connect обеспечивает подключение локальных ресурсов к сети AWS по быстрым выделенным каналам. Если передавать большие объемы данных в облако AWS требуется постоянно, вам может подойти сервис AWS Direct Connect.

Вопрос: Можно ли использовать AWS Snowball для переноса данных из одного региона AWS в другой?

Нет. Решение Snowball предназначено для перемещения больших объемов данных в определенный регион AWS или из него. Для перемещения данных между регионами AWS рекомендуется использовать межрегиональную репликацию S3

Безопасность

Вопрос: Предусматривает ли AWS Snowball шифрование данных?

AWS Snowball шифрует все данные с помощью 256-битных ключей шифрования. Управление ключами шифрования осуществляется с помощью AWS Key Management Service (KMS). Ключи никогда не передаются на устройство и не хранятся на нем.

Вопрос: Предусмотрен ли в AWS способ обнаружения взлома устройства во время пересылки?

Кроме корпуса с защитой от взлома, в устройствах Snowball используется стандартный модуль доверенной платформы (TPM) с отдельным процессором для обнаружения любых несанкционированных изменений аппаратного или программного обеспечения, а также прошивки. AWS проверяет каждое устройство на наличие признаков взлома, а также изменений, зарегистрированных модулем TPM.

Вопрос: Что происходит с данными на устройстве после передачи в облако AWS?

После обработки и проверки задания на передачу данных AWS выполняет программное удаление данных с устройства Snowball, следуя рекомендациям Национального института стандартов и технологий США (NIST) по уничтожению данных на носителях информации.

Вопрос: Существует ли простой способ отслеживать состояние заданий на передачу данных?

В AWS Snowball используется инновационная метка пересылки E Ink, которая гарантирует, что устройство будет автоматически отправлено в соответствующий ЦОД AWS, и позволяет отслеживать его местоположение. После передачи данных на устройство состояние задания можно отслеживать с помощью сервиса Amazon Simple Notification Service (SNS), текстовых сообщений или консоли.

Вопрос: Можно ли использовать AWS Snowball для передачи закрытой медицинской информации (PHI)?

Да. Сервис AWS Snowball соответствует требованиям HIPAA. При наличии заключенного договора делового партнерства (BAA) с AWS можно передавать с помощью Snowball данные в аккаунты, для которых обеспечено соответствие требованиям HIPAA, уже сейчас.

Использование AWS Snowball для импорта данных

Вопрос: Как начать работу с AWS Snowball?

Чтобы начать работу с AWS Snowball, посетите страницу Начало работы с AWS Snowball.

Вопрос: Как скопировать данные на устройство Snowball?

Устройство Snowball необходимо подключить к сети и настроить на нем IP-адрес с помощью дисплея E Ink. После этого требуется загрузить из Консоли управления AWS следующие файлы.

1. Клиент Snowball – программное средство, используемое для копирования данных из локального хранилища на устройство Snowball. Дополнительную информацию о клиенте Snowball см. на странице ресурсов по AWS Snowball.

2. Файл манифеста задания – зашифрованный файл с метаданными, который используется в качестве уникального идентификатора задания на передачу данных.

3. Код разблокировки манифеста задания – 25-символьный код для разблокировки файла манифеста задания.

После загрузки этих файлов необходимо запустить клиент Snowball и указать IP-адрес устройства Snowball, путь к файлу манифеста и код разблокировки. Так выглядит пример команды запуска:

  snowball start -i {IP устройства Snowball} -m путь/к/файлу/манифеста/задания} -u {код разблокировки}

После запуска и ввода необходимой информации клиент будет подключен к устройству Snowball и готов к использованию. Остается указать каталоги файлов, которые требуется скопировать на устройство, и дождаться завершения передачи данных. Так выглядит пример команды копирования:

  snowball cp /путь/к/данным/в/каталогах/исходного/устройства/хранения Snowball/имякорзины

Вопрос: Каковы рекомендации по передаче данных в AWS Snowball?

Для ускорения копирования рекомендуется использовать мощную рабочую станцию, запускать одновременно несколько инстансов клиента Snowball на нескольких терминалах и передавать небольшие файлы в пакетах. Для повышения производительности при передаче небольших файлов клиент Snowball автоматически пакетирует их в более крупные файлы .snowballarchives. При импорте в Amazon S3 сжатые пакеты автоматически распаковываются без вмешательства пользователя. Полный список рекомендаций по использованию AWS Snowball см. на странице документации AWS Snowball.

Вопрос: Что необходимо сделать по завершении передачи данных на устройство Snowball?

По завершении задания на передачу данных обратная метка пересылки на дисплее E Ink устройства Snowball автоматически обновляется. На ней указывается информация о соответствующем ЦОД AWS, куда следует отправить устройство. Остается только передать устройство Snowball в ближайший пункт компании-перевозчика. Состояние задания на передачу данных можно отслеживать с помощью сервиса Amazon Simple Notification Service (SNS), текстовых сообщений или непосредственно в Консоли управления AWS.

Вопрос: Можно ли импортировать распределенную файловую систему Hadoop на устройство Snowball?

Да. Вы можете копировать данные из кластера HDFS на Snowball при помощи Snowball CLI. Подробнее см. в документации AWS Snowball.

Использование Snowball для экспорта данных

Вопрос: В чем заключается возможность экспорта с использованием Snowball?

Возможность экспорта с использованием Snowball позволяет клиентам экспортировать терабайты и петабайты данных из сервиса Simple Storage Service (Amazon S3) в локальное хранилище.

Вопрос: Как экспортировать данные из облака AWS?

Чтобы использовать AWS Snowball для экспорта, просто войдите в Консоль управления AWS, выберите пункт «Snowball» и создайте задание на экспорт. Как и при создании задания на импорт, потребуется указать регион и корзины, которые нужно использовать. Если не требуется экспортировать все данные из конкретной корзины, можно выбрать данные для экспорта, указав начало и конец диапазона ключей S3, отсортированного в двоичном порядке в кодировке UTF-8. Все ключи в указанном диапазоне будут экспортированы. Подробнее об использовании Консоли управления AWS.

Вопрос: Через какое время можно получить доступ к экспортированным данным?

Как правило, экспорт данных начинается в пределах 24 часов после создания вами запроса, а сам экспорт может занять неделю. Когда задание будет выполнено, а устройство готово к пересылке, мы отправим его в соответствии с параметрами доставки, указанными при создании задания.

Вопрос: Можно ли забрать устройство Snowball из ЦОД AWS, не дожидаясь доставки?

Нет. Можно выбрать доставку в течение одного дня, но мы обязаны отправить устройство Snowball на указанный вами адрес. Мы не предоставляем возможность лично забрать устройство Snowball из ЦОД.

Вопрос: Можно ли следить за процессом записи экспортируемых данных во время подготовки устройства Snowball?

Да. Вы узнаете, когда начнется выделение устройства Snowball, и будете получать информацию о записи данных на устройство в режиме реального времени. Как и для заданий на импорт, вы можете получить оповещение, когда выделение будет завершено и когда устройство будет отправлено.

Вопрос: Шифрует ли AWS данные перед их копированием на устройство Snowball?

Да. Все записываемые данные шифруются, при этом ключи шифрования никогда не хранятся на устройстве Snowball.

Вопрос: Как считать данные с полученного устройства Snowball?

Данные можно скопировать с устройства Snowball в локальное хранилище с помощью клиента AWS Snowball. Клиент дешифрует данные по мере чтения с устройства Snowball и записывает их в локальное хранилище в том же формате, в каком они хранились в Amazon S3.

Вопрос: Какой объем данных можно экспортировать?

Объем экспортируемых данных практически не ограничен. Если требуется экспортировать объем данных, превышающий емкость одного устройства, можно создать дополнительные задания на экспорт, чтобы экспортировать все требуемые данные. Оплата экспорта осуществляется по стандартным тарифам.

Вопрос: Возможно ли извлечение данных из нескольких корзин?

Да. Данные можно экспортировать из любого количества корзин.

Вопрос: Как объекты Amazon S3 привязываются к файлам в процессе копирования данных в локальное хранилище?

Каждый ключ копируется на устройство в дерево каталогов, которое начинается с имени корзины. Например, если ключ имеет название images/orange.jpg, а корзина – fruit, то объект будет сохранен в следующем виде: /fruit/images/orange.jpg. Связанные с объектами метаданные не копируются на устройство хранения.

Вопрос: Можно ли экспортировать данные из хранилища Amazon Glacier?

Нет. Перед экспортом данных из Amazon Glacier их необходимо восстановить в сервисе Amazon S3, используя возможность восстановления в рамках управления жизненным циклом S3.

Вопрос: Можно ли получить журнал экспортируемых данных?

Да. Для каждого задания на импорт или экспорт создается журнал файлов, которые удалось скопировать, и файлов, которые не удалось скопировать; этот журнал доступен в консоли Snowball.

Вопрос: Сколько стоит экспорт данных?

Кроме платы за экспорт Snowball в соответствии с тарифами, указанными на странице цен на AWS Snowball, взимается плата за извлечение данных из сервисов Amazon S3 и Amazon Glacier.

Оплата

Вопрос: Сколько стоит передача данных с помощью AWS Snowball?

Стоимость каждого задания Snowball на передачу данных с учетом перемещения устройства и выполнения операций импорта в ЦОД AWS и экспорта из него является фиксированной. Устройство Snowball можно бесплатно использовать на территории заказчика до 10 дней. День получения и день отправки устройства в этот срок не включаются. По истечении этого срока за каждый дополнительный день нахождения у вас устройства Snowball начисляется плата в размере 15 USD. Плата за передачу данных в облако AWS не взимается. Стоимость передачи данных из AWS зависит от региона. Подробнее о ценах см. на странице цен на AWS Snowball.

Следующий пример демонстрирует цены на использование модели устройства Snowball емкостью 80 ТБ.

Пример
Допустим, вы передали в облако AWS 60 ТБ данных на одном устройстве Snowball, которое находилось у вас в течение 14 дней (получено в 1-й день и возвращено в 14-й день).

Плата за использование сервиса для этого задания
Плата за использование сервиса для этого задания составит 250 USD.

Стоимость дополнительных дней использования
Устройство Snowball можно бесплатно использовать на территории заказчика до 10 дней. День получения и день отправки устройства в этот срок не входят, т. е. в данном случае за 1-й и 14-й дни плата не взимается. После исключения первого и четырнадцатого дней остается 12 дней, и 10 из этих 12 дней бесплатны. Оставшиеся 2 дня на передачу данных считаются дополнительными. Общая сумма за дополнительные дни составит:
2 дня x 15 USD/день = 30 USD

Передача данных
В этом примере вы передавали данные в облако AWS (а не из него), поэтому за передачу данных плата не начисляется.

Отправка
Стоимость отправки зависит от пункта назначения и выбранного вами варианта доставки (например, срочная или в течение двух дней).

Вопрос: Как начисляется плата за использование Amazon S3?

Данные с устройств Snowball передаются в сервисы AWS, например в Amazon S3. При этом действуют стандартные тарифы сервисов AWS. Передача данных В AWS не тарифицируется. Хранение данных в сервисе S3 оплачивается по стандартным тарифам Amazon S3.

Вопрос: Можно ли приобрести устройство Snowball?

Устройства Snowball предоставляются только для выполнения заданий, оплачиваются по факту использования и недоступны для покупки.

Инструменты интеграции рабочих процессов

Вопрос: Поддерживает ли сервис AWS Snowball доступ через API?

Да. Job Management API сервиса Snowball предоставляет доступ к созданию заданий и возможностям управления Snowball. Это простой стандартизированный интерфейс веб-сервисов REST, предназначенный для работы с любыми средами разработки интернет-приложений.

Вопрос: Как можно использовать Job Management API сервиса AWS Snowball?

Job Management API сервиса AWS Snowball позволяет партнерам и клиентам создавать собственные интеграции, чтобы управлять запросами на устройства Snowball и уведомлениями о состоянии задания. API предоставляет интерфейс простого веб-сервиса для создания, обновления и отмены заданий, а также для просмотра списка заданий везде, где есть подключение к Интернету. С помощью этого веб-сервиса разработчики могут без труда создавать приложения для управления заданиями AWS Snowball. Подробнее см. в документации AWS Snowball.

Вопрос: Что такое S3 Adapter?

S3 SDK Adapter для Snowball предоставляет совместимый с Amazon S3 интерфейс взаимодействия с клиентом Snowball для чтения и записи данных на устройстве Snowball.

Вопрос: Что можно делать с помощью S3 Adapter?

Адаптер S3 предоставляет возможность обмена данными с устройством Snowball, позволяя клиентам создавать инструменты для копирования данных из файловых и нефайловых источников. Он включает интерфейсы для копирования данных в Snowball с таким же шифрованием, которое доступно через инструменты командной строки Snowball. Подробнее см. в документации AWS Snowball.

Вопрос: Каковы преимущества S3 Adapter по сравнению с клиентом Snowball?

Клиент Snowball – это готовый к использованию инструмент, позволяющий без труда копировать файловые данные на устройство Snowball. Клиенты, предпочитающие более тесную интеграцию, могут расширить возможности существующих приложений и рабочих нагрузок, интегрировав их с AWS Snowball посредством S3 Adapter.

Вопрос: Каким образом обеспечивается защита данных при использовании S3 Adapter?

При записи данных S3 Adapter использует тот же продвинутый механизм шифрования, что и клиент Snowball.

Вопрос: Какие языки программирования поддерживает Snowball S3 Adapter?

S3 Adapter взаимодействует с приложениями через интерфейс REST, не зависящий от конкретного языка.

Готовы приступить к разработке?
Начните работу с AWS Snowball
Есть вопросы?
Свяжитесь с нами