Начните работу с AWS Snowball

Создать бесплатный аккаунт

Получите доступ к бесплатному пакету уровень бесплатного пользования AWS в течение двенадцати месяцев и используйте возможности базовой поддержки AWS Basic Support, в том числе круглосуточный доступ к сервису поддержки клиентов, форумы поддержки и многое другое.

Вопрос: Что такое AWS Snowball?

AWS Snowball – это решение для передачи данных, которое позволяет ускорить перенос данных объемом от терабайтов до петабайтов в облако AWS или из него благодаря использованию физического перемещения данных на безопасных устройствах хранения. Использование устройств Snowball решает распространенные проблемы, связанные с передачей больших объемов данных, такие как высокая стоимость передачи данных по сети, длительность передачи, а также обеспечение ее безопасности.

Вопрос: Как использовать устройство Snowball?

AWS Snowball использует защищенные устройства и клиент Snowball, чтобы ускорить передачу данных объемом в несколько петабайтов в облако AWS и из него. Для начала работы необходимо создать в Консоли управления AWS одно или несколько заданий на запрос одного или нескольких устройств Snowball (в зависимости от того, сколько данных требуется передать), а затем загрузить и установить клиент Snowball. После получения устройства подключите его к своей локальной сети, установите IP-адрес вручную или с помощью DHCP и используйте клиент, чтобы определить каталоги, которые необходимо скопировать. Клиент автоматически зашифрует и скопирует данные на устройство и оповестит вас, когда передача данных будет завершена. Когда передача будет завершена, а устройство готово к обратной отправке, метка пересылки E Ink будет автоматически обновлена для соответствующего ЦОД AWS, и вы сможете отслеживать состояние задания с помощью сервиса Amazon Simple Notification Service (Amazon SNS), текстовых сообщений или непосредственно в Консоли управления.

Вопрос: В каких случаях стоит использовать Snowball?

Вам оптимально подойдет решение Snowball, если нужно быстро и безопасно переместить в облако AWS терабайты или петабайты данных. Решением Snowball также стоит воспользоваться, если вы не хотите осуществлять дорогостоящую модернизацию сетевой инфраструктуры, у вас регулярно накапливается большой объем данных, вы работаете в физически изолированной среде или находитесь в регионе, где широкополосное интернет-подключение недоступно или слишком дорого.

Вопрос: Какие объемы данных можно перемещать с помощью Snowball?

С помощью Snowball можно перемещать любые объемы данных, от нескольких терабайтов до нескольких петабайтов. Каждое устройство Snowball вмещает терабайты данных. Для передачи больших пакетов данных можно использовать несколько устройств Snowball параллельно или последовательно. Например, вы можете передать 100 ТБ данных сразу с помощью двух устройств Snowball или передать тот же объем, используя два устройства последовательно.

Вопрос: Что такое клиент Snowball?

Клиент Snowball – это программное обеспечение, устанавливаемое на локальный компьютер и предназначенное для эффективного определения, сжатия, шифрования и передачи данных из указанных вами каталогов на устройство Snowball.

Вопрос: Сколько времени занимает передача данных?

С помощью клиента Snowball можно определить примерное время передачи данных (подробнее см. в руководстве пользователя). Скорость передачи данных зависит от множества факторов: скорости в локальной сети, размера файла и скорости считывания данных с локальных серверов.

Клиент Snowball выполняет копирование данных на устройство Snowball с максимально возможной в текущих условиях скоростью (при определенных условиях локальной среды передача 48 ТБ данных может быть выполнена в течение суток). Общее время перемещения данных в AWS составит около недели, включая стандартное время на пересылку и обработку данных в ЦОД AWS. Вы можете скопировать вдвое больший объем данных за аналогичное время с помощью двух устройств Snowball по 48 ТБ или передать 80 ТБ данных за 2,5 суток на одном устройстве Snowball объемом 80 ТБ, что увеличит общее время передачи данных до полутора недель.

Вопрос: Каковы технические характеристики устройства Snowball?

Полный перечень технических характеристик оборудования, включая интерфейсы, температурные требования, требования по электропитанию, уровень шума в децибелах и габариты, см. на странице документации Snowball.

Вопрос: В течение какого времени допускается использование устройства Snowball для конкретного задания?

Из соображений безопасности перемещение данных должно быть завершено за 90 дней с момента подготовки устройства Snowball.

Вопрос: Какие сетевые интерфейсы поддерживает Snowball?

Устройство Snowball оснащено сетевыми интерфейсами 10 Гбит/с с портами RJ45, а также медными и оптическими сетевыми портами SFP+.

Вопрос: Каковы условия доставки устройств Snowball? Возможна ли срочная доставка?

По умолчанию сервис Snowball использует услугу двухдневной доставки компании UPS. Если у вас есть срочные задания, можно воспользоваться ускоренной доставкой.

Вопрос: В каких регионах доступен сервис Snowball?

Актуальную информацию можно найти на страницах доступности сервисов по регионам.

Сервис Snowball можно использовать во всех штатах США.

Обратите внимание, что модели емкостью 50 ТБ доступны только в США.

Вопрос: Можно ли отправить устройство Snowball в другой регион AWS?

Нет. Устройства Snowball можно запрашивать и использовать в пределах одного и того же региона AWS. Устройство можно вернуть только в тот регион, откуда был направлен запрос на его получение. Устройства Snowball, используемый для импорта и экспорта в регионе AWS в ЕС, могут использоваться в любой из 28 стран ЕС.


Вопрос: В каких случаях целесообразнее использовать устройство Snowball, а не передачу данных через Интернет?

Вам идеально подойдет решение Snowball, если нужно быстро и безопасно переместить в облако AWS терабайты или петабайты данных. Решением Snowball также стоит воспользоваться, если вы не хотите осуществлять дорогостоящую модернизацию сетевой инфраструктуры, у вас регулярно накапливается большой объем данных, вы работаете в физически изолированной среде или находитесь в регионе, где скоростное интернет-подключение недоступно или слишком дорого.

Практика показывает, что использовать Snowball целесообразно, если загрузка данных в облако AWS с использованием свободной пропускной способности имеющегося интернет-подключения займет более недели. К примеру, как описано в таблице ниже, если имеется соединение со скоростью 100 Мб, которое можно целиком выделить для передачи данных, и необходимо передать 100 ТБ данных, на передачу данных по такому соединению потребуется более 100 дней. Передачу такого объема данных можно выполнить примерно за неделю, если использовать несколько устройств Snowball.

Доступное подключение к Интернету Предположительно мин. Количество дней для передачи 100 ТБ при 80 % использовании сети Когда стоит использовать AWS Snowball?
T3 (44,736 Мбит/с) 269 дней 2 ТБ или больше
100 Мбит/с 120 дней
5 ТБ или больше
1000 Мбит/с 12 дней
60 ТБ или больше

Вопрос: В каких случаях целесообразнее использовать устройство Snowball, чем сервис AWS Direct Connect?

Сервис AWS Direct Connect предоставляет выделенные быстрые подключения ваших локальных ресурсов к сети AWS. Если передавать большие объемы данных в облако AWS требуется постоянно, вам может подойти сервис AWS Direct Connect.

Snowball будет отличной альтернативой сервису Direct Connect, если вам требуется перемещать данные однократно или изредка большими пакетами и, возможно, из распределенных местоположений. В таких случаях использовать Snowball может быть проще и дешевле, чем устанавливать новое подключение Direct Connect для передачи данных и отключать его после окончания передачи.

Вопрос: В каких случаях целесообразнее использовать устройство Snowball, а не AWS Import/Export Disk?

В большинстве примеров использования Snowball оказывается быстрее, проще и дешевле по сравнению с AWS Import/Export Disk.

При использовании Snowball для передачи данных вам не придется приобретать дополнительное оборудование или писать код. Каждое устройство Snowball позволяет переместить до 80 ТБ данных, для больших рабочих нагрузок можно использовать несколько устройств параллельно. В устройствах Snowball используются корпуса с защитой от взлома, 256-битное шифрование и стандартный модуль доверенной платформы (TPM), который гарантирует безопасность и обеспечивает комплексный режим защиты данных, а также позволяет сократить объем служебной информации, используемой при передаче данных в облако AWS и из него.

Задания на передачу данных можно создавать прямо в Консоли управления AWS. Когда передача будет завершена, а устройство готово к обратной отправке, метка пересылки E Ink будет автоматически обновлена для соответствующего ЦОД AWS, и вы сможете отслеживать состояние задания с помощью сервиса Amazon SNS, текстовых сообщений или непосредственно в Консоли.

Вопрос: Можно ли использовать Snowball для переноса данных из одного региона AWS в другой регион AWS?

Нет. Решение Snowball предназначено для перемещения больших объемов данных в определенный регион AWS или из него. Для перемещения данных между регионами AWS рекомендуется использовать межрегиональную репликацию S3


Вопрос: Выполняет ли Snowball шифрование данных?

Snowball шифрует все данные с помощью 256-битного шифрования. Только вы управляете ключами шифрования с помощью AWS Key Management Service (AWS KMS). Ваши ключи никогда не копируются на устройство и не хранятся в нем.

Вопрос: Предусмотрен ли в AWS способ обнаружения взлома устройства во время пересылки?

Кроме корпуса с защитой от взлома, в устройствах Snowball используется стандартный модуль доверенной платформы (TPM), особый процессор которого предназначен для обнаружения любых несанкционированных изменений аппаратного или программного обеспечения, а также прошивки. Каждое устройство проверяется платформой AWS на наличие каких-либо признаков взлома, а также изменений, зарегистрированных модулем TPM.

Вопрос: Что происходит с данными на устройстве после их успешной передачи в облако AWS?

После обработки и проверки задания на передачу данных платформа AWS выполняет программное удаление данных с устройства Snowball, следуя рекомендациям по уничтожению данных на носителях информации Национального института стандартов и технологии США (NIST).

Вопрос: Существует ли простой способ отслеживания состояния заданий на передачу данных?

В Snowball используется инновационная метка пересылки E Ink, гарантирующая, что устройство будет автоматически отправлено в правильный ЦОД AWS, а также помогающая отслеживать местоположение устройства. После передачи данных на устройство состояние задания на передачу данных можно отслеживать с помощью сервиса Amazon SNS, текстовых сообщений или Консоли.

Вопрос: Можно ли использовать AWS Snowball для передачи закрытой медицинской информации (PHI)?

Да. Сервис AWS Snowball соответствует требованиям HIPAA. При наличии заключенного договора делового партнерства (BAA) с AWS можно передавать с помощью Snowball данные в аккаунты, для которых обеспечено соответствие требованиям HIPAA, уже сейчас.


Вопрос: Как начать работу с сервисом Snowball?

Чтобы начать работу со Snowball, посетите страницу Начало работы.

Вопрос: Как скопировать данные на устройство Snowball?

После подключения устройства Snowball к сети и настройки IP-адреса с помощью дисплея E Ink необходимо загрузить из Консоли управления AWS следующие файлы.

1. Клиент Snowball, программное средство, используемое для копирования данных из локального хранилища на устройство Snowball. Дополнительную информацию о клиенте Snowball см. на странице Инструменты.

2. Файл манифеста задания, зашифрованный файл с метаданными, уникальным образом идентифицирующий ваше задание на передачу данных.

3. Деблокирующий код манифеста задания, 25-символьный код для разблокирования файла манифеста задания.

После загрузки этих трех файлов запустите клиент Snowball и укажите IP-адрес устройства Snowball, путь к файлу манифеста и деблокирующий код. Так выглядит пример команды запуска:

snowball start -i {IP устройства Snowball} -m path/to/the/job/manifest} -u {деблокирующий код}

После запуска с предоставлением необходимой информации клиент будет подключен к устройству Snowball и готов к использованию. Укажите каталоги файлов, которые требуется скопировать на устройство, и дождитесь завершения передачи данных. Так выглядит пример команды копирования:

snowball cp /path/to/data/on/source/storage/device/directories Snowball/bucketname

Вопрос: Что необходимо сделать по завершению передачи данных на устройство Snowball?

По завершении задания на передачу данных дисплей E Ink устройства Snowball автоматически обновляет обратную метку пересылки, которая определяет соответствующий ЦОД AWS. Вам останется только передать устройство Snowball в ближайший пункт службы доставки UPS. Вы можете отслеживать состояние задания на передачу данных с помощью сервиса Amazon SNS, текстовых сообщений или непосредственно в Консоли управления AWS.

Вопрос: Можно ли импортировать распределенную файловую систему Hadoop на устройство Snowball?

Да. Вы можете копировать данные из кластера HDFS на Snowball при помощи Snowball CLI. Подробнее см. в документации по Snowball.


Вопрос: В чем заключается возможность экспорта с использованием Snowball?

Возможность экспорта с использованием Snowball позволяет клиентам экспортировать терабайты и даже петабайты данных из сервиса Amazon Simple Storage Service (Amazon S3) в локальное хранилище. 

Вопрос: Как получить свои данные из облака AWS с помощью экспорта?

При использовании Snowball для экспорта войдите в Консоль управления AWS, выберите пункт «Snowball» и создайте задание на экспорт. Как и при создании задания на импорт, потребуется указать регион и корзины, которые нужно использовать. Если не требуется экспортировать все данные из конкретной корзины, можно выбрать данные для экспорта, указав начало и конец диапазона ключей S3, отсортированного в двоичном порядке в кодировке UTF-8. Все ключи в указанном диапазоне будут экспортированы. Сведения об использовании консоли сервиса можно найти здесь.

Вопрос: Через какое время можно получить доступ к экспортированным данным?

Как правило, экспорт данных начинается в пределах 24 часов после создания вами запроса, а сам экспорт может занять неделю. Когда задание будет выполнено, а устройство готово к пересылке, мы отправим устройство в соответствии с параметрами доставки, указанными при создании задания.

Вопрос: Можно ли забрать устройство Snowball из ЦОД AWS, не дожидаясь доставки?

Нет. Можно выбрать доставку в течение одного дня, но мы обязаны отправить устройство Snowball на указанный вами адрес. Мы не предоставляем возможность лично забрать устройство Snowball из нашего ЦОД.

Вопрос: Можно ли следить за процессом записи экспортируемых данных во время подготовки устройства Snowball?

Да. Вы можете узнать, когда мы начнем выделение устройства Snowball, и получать обновления о записи данных на устройство в режиме реального времени. Как и для заданий на импорт, вы можете получить оповещение, когда выделение будет завершено и когда устройство будет отправлено.

Вопрос: Шифрует ли AWS данные перед их копированием на устройство Snowball?

Да. Все записываемые данные шифруются, при этом ключи шифрования никогда не хранятся на устройстве Snowball.

Вопрос: Как считать данные с полученного устройства Snowball?

Вы можете скопировать данные с устройства Snowball в локальное хранилище с помощью клиента Snowball. Клиент дешифрует данные по мере чтения с устройства Snowball и записывает данные в локальное хранилище в том же формате, в каком они хранились в Amazon S3.

Вопрос: Какой объем данных можно экспортировать?

Объем экспортируемых данных практически не ограничен. Если требуется выполнить экспорт большего объема данных, чем вмещает одно устройство, автоматически будут созданы дополнительные задания на экспорт, гарантирующие экспорт всех выбранных вами данных.

Вопрос: Возможно ли извлечение данных из нескольких корзин?

Да. Данные можно экспортировать из любого количества корзин.

Вопрос: Как объекты Amazon S3 привязываются к файлам в процессе копирования данных в локальное хранилище?

Каждый ключ копируется на устройство в дерево каталогов, которое начинается с имени корзины. Например, если ключ имеет название images/orange.jpg, а корзина – fruit, то объект будет сохранен в следующем виде: /fruit/images/orange.jpg. Связанные с объектами метаданные не копируются на устройство хранения.

Вопрос: Можно ли экспортировать данные из хранилища Amazon Glacier?

Нет. Перед экспортом данных из Amazon Glacier их необходимо восстановить в сервисе Amazon S3, используя возможность восстановления в управлении жизненным циклом объектов S3.

Вопрос: Можно ли получить журнал экспортируемых данных?

Да. Для каждого задания на импорт или экспорт создается журнал файлов, которые удалось скопировать, и файлов, которые не удалось скопировать; этот журнал доступен в консоли Snowball.

Вопрос: Сколько стоит экспорт данных?

Кроме затрат на функцию экспорта Snowball, описанных на странице цен, взимается плата за извлечение данных из сервисов Amazon S3 и Amazon Glacier.


Вопрос: Сколько стоит перемещение данных с помощью Snowball?

Стоимость каждого задания Snowball на передачу данных с учетом перемещения устройства и выполнения операций импорта в ЦОД AWS и экспорта из него является фиксированной. Устройство Snowball можно бесплатно использовать на территории заказчика до 10 дней. День получения и день отправки устройства в этот срок не включаются. По истечении этого срока за каждый дополнительный день нахождения у вас устройства Snowball начисляется плата в размере 15 USD. Плата за передачу данных в облако AWS не взимается. Стоимость передачи данных из AWS зависит от региона. Подробнее о ценах см. на странице цен.

Следующий пример демонстрирует цены на использование модели устройства Snowball емкостью 80 ТБ.

Пример

Допустим, вы передали в облако AWS 60 ТБ данных на одном устройстве Snowball, которое находилось у вас в течение 14 дней (получено в 1-й день и возвращено в 14-й день).

Плата за использование сервиса для этого задания

Плата за использование сервиса для этого задания составит 250 USD.

Стоимость дополнительных дней использования

Устройство Snowball можно бесплатно использовать на территории заказчика до 10 дней. День получения и день отправки устройства в этот срок не входят, т. е. в данном случае за 1-й и 14-й дни плата не взимается. После исключения первого и четырнадцатого дней остается 12 дней, и 10 из этих 12 дней бесплатны. Оставшиеся 2 дня на передачу данных считаются дополнительными. Общая сумма за дополнительные дни составит:

2 дня x 15 USD/день = 30 USD

Передача данных

В этом примере вы передавали данные в облако AWS (а не из него), поэтому за передачу данных плата не начисляется.

Отправка

Стоимость отправки зависит от пункта назначения и выбранного вами варианта доставки (например, срочная или в течение двух дней).

Вопрос: Как начисляется плата за использование хранилища Amazon S3?

Данные с устройств Snowball копируются в сервисы AWS, например в хранилище Amazon S3. При этом действуют стандартные тарифы сервисов AWS. Передача данных в AWS не тарифицируется, для хранения данных в сервисе S3 применяются тарифы стандартного хранилища Amazon S3.

Вопрос: Можно ли приобрести устройство Snowball?

Устройства Snowball доступны только в рамках задания, оплачиваются по факту использования и недоступны для покупки.


Вопрос: Поддерживает ли сервис Snowball доступ через API?

Да. Job Management API сервиса Snowball предоставляет доступ к созданию заданий и возможностям управления Snowball. Это простой стандартизированный интерфейс веб-сервисов REST, предназначенный для работы с любыми средами разработки интернет-приложений.

Вопрос: Как можно использовать Job Management API сервиса Snowball?

Этот API позволяет партнерам и клиентам создавать собственные интеграции для управления процессом выполнения запросов к устройствам Snowball и передачи состояния задания. Job Management API сервиса Snowball предоставляет простой интерфейс веб-сервисов, который можно использовать для создания и вывода списка заданий, обновления и снятия заданий из любого места в Интернете. Используя этот веб-сервис, разработчики могут с легкостью создавать приложения и управлять рабочими потоками сервиса Snowball. Подробнее см. в документации Snowball.

Вопрос: Что такое адаптер S3?

Адаптер S3 предоставляет совместимый с S3 интерфейс взаимодействия с клиентом Snowball для чтения и записи данных устройством Snowball.

Вопрос: Что можно делать с помощью адаптера S3?

Адаптер S3 предоставляет возможность обмена данными с устройством Snowball, позволяя клиентам создавать инструменты для копирования данных из файловых и нефайловых источников. Он включает интерфейсы для копирования данных в Snowball с таким же шифрованием, которое доступно через инструменты командной строки Snowball. Подробнее см. в документации Snowball.

Вопрос: Каковы преимущества использования адаптера S3 по сравнению с клиентом Snowball?

Клиент Snowball – это готовый к использованию инструмент, позволяющий легко копировать файловые данные в Snowball. Клиенты, предпочитающие более тесную интеграцию, могут использовать адаптер S3 для расширения существующих приложений и рабочих нагрузок для эффективной интеграции со Snowball.

Вопрос: Каким образом защищаются данные при использовании адаптера S3?

При записи данных адаптер S3 использует продвинутую систему шифрования, предоставляемую клиентом Snowball.

Вопрос: Какие языки программирования поддерживает адаптер Snowball S3?

Адаптер S3 обменивается данными через интерфейс REST, не зависящий от конкретного языка.