Общие вопросы

Вопрос: Что такое AWS Snowball Edge?

Snowball Edge – это устройство для передачи 100 ТБ данных со встроенным хранилищем и вычислительными ресурсами, позволяющими использовать некоторые функциональные возможности AWS. Snowball Edge не только помогает перемещать данные в AWS, но и способен выполнять локальные рабочие нагрузки, связанные с обработкой данных и вычислениями. Возможности сервиса включают в себя совместимый с S3 адрес устройства, файловый интерфейс с поддержкой NFS, режим кластеризации, в котором несколько устройств Snowball Edge могут объединяться в единый масштабируемый пул вычислительных ресурсов и ресурсов хранилища с повышенной надежностью, а также поддержку выполнения функций Lambda при копировании данных на устройство.

Вопрос: Как использовать устройство Snowball Edge?

Для начала необходимо заказать через Консоль управления AWS определенное количество устройств Snowball Edge, соответствующее объему передаваемых или обрабатываемых данных. Выбранные корзины и функции Lambda будут автоматически настроены, зашифрованы и установлены на устройства перед отправкой. Когда устройство будет доставлено, подключите его к локальной сети и назначьте IP-адрес (вручную или с помощью DHCP). Все перечисленное применимо и к созданию кластера. После этого с помощью клиента Snowball Edge, манифеста задания и кода разблокирования проверьте целостность устройства или кластера Snowball Edge и разблокируйте его для дальнейшего использования. Манифест и код разблокирования уникальны и криптологически привязаны к конкретному устройству Snowball Edge, что предотвращает их использование с другими устройствами. Данные, копируемые в Snowball Edge, автоматически зашифровываются и записываются в указанные клиентом корзины.

Вопросы доставки и логистики берет на себя Amazon, поэтому как только вы завершите копирование и устройство будет готово к возврату, на ярлыке отправления E Ink автоматически появится обратный адрес, который поможет вернуть устройство Snowball Edge в соответствующий ЦОД AWS. Вы сможете отслеживать состояние пересылки с помощью уведомлений Amazon Simple Notification Service (Amazon SNS), текстовых сообщений или непосредственно в Консоли управления.

Управление ресурсами Snowball Edge осуществляется через Консоль управления AWS без необходимости привлекать к работе системных инженеров на местах.

Вопрос: В чем разница между AWS Snowball Edge и AWS Snowball?

Решение Snowball предназначено для перемещения больших объемов данных в определенный регион AWS или из него. AWS Snowball Edge отличает возможность выполнять на устройстве простые вычислительные функции. Это актуально для примеров использования, требующих локальной обработки данных перед их возвращением в AWS. Дополнительную информацию см. в документации.

Вопрос: В каких случаях стоит использовать Snowball Edge?

Решение Snowball Edge оптимально подходит, когда требуется быстро и безопасно переместить в облако AWS терабайты или петабайты данных. Snowball Edge можно использовать для передачи накопленных за долгое время данных или для регулярной передачи в AWS собираемых данных из хранилищ с ограниченным или слишком дорогостоящим доступом в Интернет. Помимо этого сервис можно использовать для выполнения вычислительных нагрузок в периферийных местоположениях – например, для локального анализа данных в кластере Snowball Edge с последующей их записью по совместимому с S3 адресу. Решение эффективно интегрируется в действующие рабочие процессы за счет использования встроенных возможностей, таких как файловый интерфейс NFS, а также позволяет переносить файлы на устройство с сохранением метаданных. Snowball Edge может работать в удаленных местоположениях или в сложных условиях эксплуатации, таких как заводские цеха, нефтегазовые установки, горнодобывающие комплексы, больницы и движущиеся транспортные средства. Устройства Snowball Edge поставляются полностью настроенными и не требуют подключения к Интернету, так что обработку и сбор данных можно проводить в изолированной операционной среде. Snowball Edge поддерживает в периферийных местоположениях работу с тем же ПО и такой же доступ к возможностям AWS, что и при подключении к AWS напрямую.

Вопрос: Можно ли использовать Snowball Edge для переноса данных из одного региона AWS в другой регион AWS?

Нет. Решение Snowball Edge предназначено для перемещения больших объемов данных в определенный регион AWS или из него. Для перемещения данных между регионами AWS рекомендуется использовать межрегиональную репликацию S3.

Вопрос: Какие объемы данных можно перемещать с помощью Snowball Edge?

С помощью Snowball Edge можно перемещать любые объемы данных, от нескольких терабайтов до десятков петабайтов. С помощью одного устройства Snowball Edge можно перенести до 100 ТБ данных, с помощью нескольких устройств, используемых последовательно или параллельно, – еще больше. Например, с помощью десяти устройств Snowball Edge можно перенести 1 петабайт данных.

Вопрос: Сколько времени занимает передача данных?

Скорость передачи данных зависит от множества факторов: скорости локальной сети, размера файлов и скорости считывания данных с локальных серверов. Общее время перемещения 100 ТБ данных в AWS с помощью Snowball Edge составит около недели, включая стандартное время на пересылку и обработку данных в ЦОД AWS.

Свернуть

Вопрос: В течение какого времени можно использовать Snowball Edge для выполнения конкретного задания?

Устройства Snowball Edge должны быть возвращены в течение 360 дней с момента подготовки устройств Snowball Edge.

Вопрос: Каковы технические характеристики устройства Snowball Edge?

Snowball Edge представляет собой контейнер хранилища объемом 100 ТБ в укрепленном, готовом к пересылке корпусе, рассчитанном на монтаж в серверную стойку. Устройство также обладает локальной вычислительной мощностью на уровне инстанса EC2 m4.4xlarge с поддержкой ряда дополнительных возможностей. Полный перечень технических характеристик оборудования, включая сетевые интерфейсы, температурные требования, требования по электропитанию, уровень шума в децибелах и габариты, см. в документации Snowball Edge.

Вопрос: Какие сетевые интерфейсы поддерживает Snowball Edge?

Snowball Edge поддерживает сетевое подключение 10GBase-T с интерфейсами 10/25 Гбит SFP28 и 40 Гбит QSFP+ для медного кабеля или оптоволокна, что позволяет передавать данные на высокой скорости.

Вопрос: Каковы условия доставки устройств Snowball Edge? Возможна ли срочная доставка?

По умолчанию сервис Snowball Edge использует услугу двухдневной доставки от компании UPS. При наличии срочных заданий можно воспользоваться ускоренной доставкой.

Возможности локальной обработки

Вопрос: Поддерживает ли Snowball Edge инстансы EC2?

На AWS Snowball Edge можно выделять инстансы типа SBE1 запускать на устройстве образы Amazon Machine Images (AMI). Пользователи могут разрабатывать и тестировать приложения на инстансах EC2, а затем использовать образы AMI на Snowball Edge, чтобы запускать нужные приложения в отдаленных или не подключенных к сети регионах.

Вопрос: В каких случаях для вычислений следует предпочесть инстансы Amazon EC2, а в каких – функции AWS Lambda?

Функции AWS Lambda хорошо подходят для новых приложений с использованием модели бессерверных вычислений в облаке AWS, когда эти же приложения планируется запускать на устройствах. Инстансы Amazon EC2 хорошо подходят клиентам с готовыми приложениями, которые будут запускаться на устройствах для предварительной обработки данных, а также клиентам, которые не планируют рефакторинг существующих приложений под бессерверную модель вычислений.

Вопрос: В каких случаях следует использовать инстансы типа SBE1 на AWS Snowball Edge?

Инстансы SBE1 следует использовать для приложений, которые работают в периферийных местоположениях и при этом развертываются и управляются как виртуальные машины (образы AMI).

Вопрос: Как приступить к локальным вычислениям на Snowball Edge?

Образы AMI EC2 или функции Lambda можно включить и распределить при формировании задания AWS Snowball Edge с помощью Консоли AWS, SDK AWS Snowball или интерфейса командной строки. 

Вопрос: Можно ли использовать существующие API EC2 для запуска и остановки инстансов на устройстве, а также для управления ими?

Да. AWS Snowball Edge предоставляет совместимый с EC2 адрес, который можно использовать для запуска и остановки инстансов, работающих на Snowball Edge, а также для управления ими. Данный адрес совместим с интерфейсом командной строки и AWS SDK. 

Вопрос: Какие возможности EC2 поддерживает AWS Snowball Edge?

Запущенный на AWS Snowball Edge конечный адрес EC2 предоставляет доступ к набору возможностей сервиса EC2, которые могут пригодиться для периферийных вычислений. В их числе API, которые позволяют запускать, останавливать, а также описывать установленные образы AMI и запущенные инстансы. 

Вопрос: Можно ли использовать существующий том EBS с сервисом AWS Snowball Edge?

Нет. На текущий момент возможность использования существующего тома EBS с сервисом AWS Snowball Edge не предусмотрена.

Вопрос: Какие действия необходимо предпринять для запуска инстансов типа SBE1 на AWS Snowball Edge?

Для запуска инстансов типа SBE1 предоставьте ID необходимых образов AMI при формировании задания, и эти образы будут предустановлены на устройство при его отправке.

Вопрос: Можно ли конвертировать образы других гипервизоров в образы AMI и наоборот?

Да. Образы, созданные KVM/VMware, можно импортировать и экспортировать в образы AMI с помощью сервиса EC2 VM Import/Export. Подробнее см. в документации по сервису VM Import/Export.

Вопрос: Какие операционные системы позволяют использовать эту возможность?

Для этого можно использовать любую операционную систему, поддерживаемую сервисом EC2. Amazon EC2 на данный момент поддерживает широкий выбор операционных систем семейств Linux, UNIX и Windows. Полный список поддерживаемых ОС приведен на странице Вопросов и ответов по Amazon EC2. Для некоторых операционных систем, например на базе Microsoft Windows, предполагается использование клиентами собственных лицензий на устройстве.

Вопрос: Какие рабочие нагрузки можно запускать на инстансах SBE1?

Инстансы SBE1 предоставляют пользователям процессоры Intel Xeon D с частотой 1,8 ГГц, до 16 виртуальных ЦПУ и 32 ГБ оперативной памяти. Они спроектированы специально для поддержки таких периферийных приложений, как сбор данных IoT-сенсоров, сжатие изображений и машинное обучение. 

Вопрос: Какие размеры инстансов SBE1 доступны для использования на устройстве?

Данное семейство инстансов включает в себя инстансы типа SBE1 и предоставляет сбалансированный набор вычислительной мощности, оперативной памяти и сетевых ресурсов, оптимизированный для нужд периферийных приложений. Актуальный список инстансов см. в соответствующей документации.

Вопрос: Как удостовериться, что существующие образы AMI подходят для запуска на инстансах SBE1 в сервисе AWS Snowball Edge?

Образы AMI, работающие на инстансах типа С5 на платформе AWS, в большинстве возможных примеров использования совместимы с доступными на AWS Snowball Edge инстансами SBE1. Мы рекомендуем нашим клиентам протестировать приложения на инстансах типа С5, чтобы удостовериться, что они могут быть запущены на устройстве.

Вопрос: Можно ли установить на устройство несколько инстансов?

Да. На устройство можно установить любое количество инстансов, пока суммарный объем используемых ими ресурсов не превышает 24 виртуальных ЦПУ и 32 ГБ оперативной памяти.

Вопрос: Как использовать инстансы типа SBE1 в кластерах AWS Snowball Edge?

Инстансы SBE1 можно запускать на каждом узле кластера AWS Snowball Edge. При выделении кластера AWS Snowball Edge с помощью консоли AWS можно задать инструкции для инстансов, которые будут работать на каждом узле этого кластера. Например, можно указать образ AMI для развертывания, желаемый размер вычислительного инстанса SBE1 и вариант запуска (по умолчанию или нет). На узлах одного кластера можно использовать как одинаковые, так и разные образы AMI. 

Вопрос: Как запустить инстанс вручную?

Каждый образ AMI имеет связанный с ним ID. Запустить инстанс вручную можно с помощью команды «run-instance», подставив в нее этот ID. Исполнение команды возвращает значение «instance-id», которое можно использовать для управления инстансом. 

Вопрос: Как управлять инстансами на AWS Snowball Edge?

Статус всех установленных на устройство образов можно проверить с помощью команды describe-images. Просмотреть перечень всех запущенных на устройстве активных инстансов можно с помощью команды describe-instance-status.

Вопрос: Как удалить существующий инстанс?

Удалить запущенный инстанс можно с помощью команды terminate-instance.

Вопрос: Какие меры защиты применяются к образам AMI во время транспортировки устройства?

Snowball Edge шифрует все данные, включая образы AMI, с помощью 256-битного шифрования. Управление ключами шифрования осуществляется с помощью AWS Key Management Service (KMS). Ключи пользователей никогда не хранятся на перевозимом устройстве; для использования устройства на месте необходимо иметь ключ и код подтверждения. Кроме корпуса с защитой от вскрытия, в устройствах Snowball Edge используется стандартный модуль доверенной платформы (TPM), особый процессор которого предназначен для обнаружения любых несанкционированных изменений аппаратного, программного или встроенного программного обеспечения. AWS исследует каждое устройство визуальными и криптографическими методами на предмет попыток взлома.

Вопрос: Как решается вопрос с лицензированием ПО для вычислительных инстансов, запускаемых на AWS Snowball Edge?

Пользователи сервиса несут самостоятельную ответственность за лицензирование любого ПО, которое они запускают на своих инстансах. В частности, для операционных систем на базе Windows предусмотрено использование собственных клиентских лицензий для ПО, запускаемого на инстансах устройства. 

Доступность по регионам

Вопрос: В каких регионах доступен сервис Snowball Edge?

Актуальную информацию можно найти на страницах доступности сервисов по регионам.

К сожалению, в настоящее время мы не можем обеспечить работу сервиса во всех штатах США.

Вопрос: Можно ли отправить Snowball Edge в другой регион AWS?

Нет. Устройства Snowball Edge можно запрашивать и использовать в пределах одного региона AWS. Устройство можно вернуть только в тот регион, откуда был направлен запрос на его получение. Устройства Snowball Edge, используемые для импорта и экспорта в регионе AWS ЕС, могут использоваться в любой из 28 стран ЕС. Актуальную информацию можно найти на страницах доступности сервисов по регионам.

Безопасность

Вопрос: Выполняет ли Snowball Edge шифрование данных?

Snowball Edge шифрует все данные с помощью 256-битного шифрования. Пользователь самостоятельно управляет ключами шифрования с помощью AWS Key Management Service (AWS KMS). Ключи не хранятся на устройстве. После отключения и возврата устройства в AWS вся память стирается.

Вопрос: Какие физические средства защиты данных используются в Snowball Edge?

Кроме корпуса с защитой от взлома, в устройствах Snowball Edge используется стандартный модуль доверенной платформы (TPM), особый процессор которого предназначен для обнаружения любых несанкционированных изменений аппаратного или программного обеспечения, а также прошивки. Каждое устройство визуально и криптографически проверяется платформой AWS на наличие каких-либо признаков взлома, а также изменений, зарегистрированных модулем TPM.

Вопрос: Какие цифровые средства защиты данных используются в Snowball Edge?

Устройство Snowball Edge разработано для защиты самых конфиденциальных данных клиентов. Все данные шифруются с использованием ключей, предоставленных пользователем через AWS Key Management Service (KMS). Ключи не хранятся на устройстве и удаляются при отключении питания. Приложения и функции Lambda запускаются в физически изолированной среде и не имеют доступа к хранилищу. Наконец, когда данные будут переданы в AWS, информация с устройства будет удалена в соответствии со стандартами National Institute of Standards and Technology. Устройства Snowball Edge защищены от атак, а все файлы конфигурации зашифрованы и подписаны ключами, которые никогда не хранятся на самих устройствах.

Вопрос: Существует ли простой способ отслеживать состояние заданий на передачу данных?

В устройствах Snowball Edge используются инновационные ярлыки отправлений E Ink, благодаря которым устройство всегда доставляется в нужный ЦОД AWS. После передачи данных на устройство состояние задания на передачу данных можно отслеживать с помощью текстовых сообщений и электронных писем сервиса Amazon SNS или Консоли управления.

Импорт данных с помощью Snowball Edge

Вопрос: Как скопировать данные на устройство Snowball Edge?

После того как устройство Snowball Edge подключено и активировано, можно начать перенос данных из локальных источников на него через совместимую с S3 конечную точку или файловый интерфейс NFS (оба варианта доступны на устройстве). Копирование данных можно также запустить через клиент Snowball. Подробнее см. в документации Snowball Edge.

Вопрос: Что необходимо сделать по завершению передачи данных на устройство Snowball Edge?

По завершении задания на передачу на ярлыке возврата отправления E Ink устройства Snowball Edge будет автоматически указан адрес соответствующего ЦОД AWS. Вам останется только передать устройство Snowball Edge в ближайший пункт службы доставки UPS. Состояние задания на передачу данных можно отслеживать с помощью текстовых сообщений и электронных писем сервиса Amazon SNS или Консоли управления.

Экспорт данных с помощью Snowball Edge

Вопрос: Сколько стоит экспорт данных?

Кроме оплаты задания на экспорт по тарифам, описанным на странице цен, взимается плата за извлечение данных из хранилищ Amazon S3.

 

Вопрос: Через какое время можно получить доступ к экспортированным данным?

Как правило, экспорт данных начинается в пределах 24 часов после создания вами запроса, а сам экспорт может занять неделю. Когда задание будет выполнено, а устройство готово к пересылке, мы отправим его в соответствии с параметрами доставки, указанными при создании задания.

Оплата

Вопрос: Какова стоимость использования Snowball Edge?

Подробную информацию о ценах см. на странице цен на AWS Snowball Edge.

Вопрос: Как начисляется плата за использование Amazon S3?

Snowball Edge по запросу пользователей перемещает их данные в сервисы AWS – например, в Amazon S3. При этом действуют стандартные тарифы сервисов AWS. Передача данных В AWS не тарифицируется. Хранение данных в сервисе S3 оплачивается по стандартным тарифам Amazon S3.

Вопрос: Можно ли приобрести устройство Snowball Edge?

Устройства доступны только в рамках задания, оплачиваются по факту использования и не предназначены для покупки.

Инструменты интеграции рабочих процессов

Вопрос: Поддерживает ли сервис AWS Snowball Edge доступ через API?

Да. Job Management API группы сервисов Snowball предоставляет доступ к созданию заданий и возможностям управления Snowball или Snowball Edge. Это простой стандартизированный интерфейс веб-сервисов REST, предназначенный для работы с любыми средами разработки интернет-приложений.

Вопрос: Как можно использовать Job Management API сервиса AWS Snowball?

Job Management API сервиса AWS Snowball позволяет партнерам и клиентам создавать собственные интеграции, чтобы управлять запросами на устройства Snowball и уведомлениями о состоянии задания. API предоставляет интерфейс простого веб-сервиса для создания, обновления и отмены заданий, а также для просмотра списка заданий везде, где есть подключение к Интернету. С помощью этого веб-сервиса разработчики могут без труда создавать приложения для управления заданиями AWS Snowball. Подробнее см. в документации AWS Snowball.

Вопрос: Что такое S3 Adapter?

S3 SDK Adapter for Snowball предоставляет совместимый с S3 интерфейс для чтения и записи данных в сервисах Snowball и Snowball Edge.

Вопрос: Что можно делать с помощью S3 Adapter?

S3 Adapter помогает приложениям пользователей записывать данные из файловых и нефайловых источников в корзины S3, размещенные на устройствах Snowball или Snowball Edge. Помимо этого, он включает в себя интерфейс для копирования данных с тем же уровнем шифрования, который доступен в клиенте Snowball. Подробнее см. в документации AWS Snowball.

Вопрос: Каковы преимущества S3 Adapter по сравнению с клиентом Snowball?

Клиент Snowball – это готовый к использованию инструмент, позволяющий без труда копировать файловые данные на устройство Snowball. Клиенты, предпочитающие более тесную интеграцию, могут расширить возможности существующих приложений и рабочих нагрузок, интегрировав их с AWS Snowball посредством S3 Adapter.

Вопрос: Каким образом обеспечивается защита данных при использовании S3 Adapter?

При записи данных S3 Adapter использует тот же продвинутый механизм шифрования, что и клиент Snowball.

Вопрос: Какие языки программирования поддерживает Snowball S3 Adapter?

S3 Adapter взаимодействует с приложениями через интерфейс REST, не зависящий от конкретного языка.