AWS Snowball Edge

Передача петабайтов данных с использованием встроенного хранилища и вычислительных возможностей

AWS Snowball Edge – это устройство объемом 100 ТБ для перемещения данных и выполнения вычислений в периферийных местоположениях. Вычислительные задачи выполняются с помощью приложений Amazon EC2 или функций AWS Lambda. Клиенты могут использовать такие устройства для сбора, обработки и хранения данных перед отправкой в AWS в средах с нестабильным сетевым подключением (например, на производстве, в промышленности или транспортной отрасли), а также на сильно удаленных площадках (например, на военных базах или морских судах). Устройства можно устанавливать в стойку и объединять в кластеры для создания временных более крупных инсталляций.

Сервис AWS Snowball Edge поддерживает определенные типы инстансов Amazon EC2 и функций AWS Lambda, что позволяет клиентам проводить разработку и тестирование в AWS, а затем развертывать приложения на устройствах для сбора и предварительной обработки данных на удаленных площадках перед отправкой в AWS. В числе распространенных примеров использования AWS Snowball Edge – перенос и транспортировка данных, сопоставление изображений, захват потоковых данных с датчиков IoT и машинное обучение.

Introduction to Snowball Edge

Преимущества

Простое перемещение данных

С помощью AWS Snowball Edge перемещение нескольких терабайтов данных можно выполнить примерно за неделю. Клиенты могут использовать сервис для перемещения баз данных, резервных копий, архивов, медицинских записей, мультимедийного контента, наборов данных для аналитики и данных от датчиков IoT. Использование AWS Snowball Edge особенно актуально в условиях, когда качество сетевого подключения делает невозможным оперативное перемещение большого объема данных в облако AWS или из него.

Простота использования

Задания создаются в Консоли управления AWS. После этого AWS автоматически высылает по указанному адресу готовое к работе устройство Snowball Edge. После получения устройство просто нужно подключить к локальной сети и своим приложениям. Когда устройство готово к обратной отправке, метка пересылки E Ink автоматически обновляется, и транспортная компания доставляет устройство в соответствующий ЦОД AWS для перемещения данных. Состояние задания можно отслеживать с помощью сообщений Amazon SNS, по электронной почте или непосредственно в Консоли.

Локальная обработка данных

На устройстве Snowball Edge можно запускать образы AMI EC2 и развертывать код AWS Lambda для выполнения таких задач, как локальная обработка данных или анализ потоковых данных. Разработчики и администраторы могут запускать приложения непосредственно на устройстве, настроенном в полном соответствии со средой AWS, без подключения к сети. Такая возможность позволяет клиентам вести разработку и тестирование в облаке, а затем, перед отправкой данных обратно в AWS, развертывать приложения в средах, где сетевое подключение ограничено или отсутствует.

Автономное хранилище

Устройства Snowball Edge могут служить в качестве локальных хранилищ данных для существующих локальных приложений. При этом используется протокол общего доступа к файлам (NFS) или интерфейс объектного хранилища (API сервиса S3). Кроме того, несколько устройств Snowball Edge можно объединить в более крупный уровень хранения с повышенной надежностью. Если устройство Snowball Edge нуждается в замене, его можно удалить из кластера и заменить другим.

 

Безопасность

В устройствах Snowball Edge используется корпус с защитой от взлома, 256-битное шифрование и стандартный для отрасли модуль доверенной платформы (TPM), который гарантирует безопасность и обеспечивает контроль процесса передачи и хранения данных. Управление ключами шифрования происходит с помощью сервиса AWS Key Management Service (KMS). Ключи шифрования ни при каких обстоятельствах не сохраняются на устройстве.

Масштабируемость

С помощью одного устройства Snowball Edge можно переместить терабайты данных. Кроме того, можно использовать несколько устройств параллельно или в кластере для передачи петабайтов данных в облако AWS или из него. Устройства Snowball Edge доступны не во всех регионах. При создании запроса в Консоли управления AWS доступность данной услуги для выбранного региона будет проверена.

Как это работает

Заказать устройство Snowball Edge можно за несколько щелчков мышью в Консоли управления AWS. Устройство поставляется с настроенными корзинами S3, готовой конфигурацией кластеризации и предустановленными образами AMI EC2 или кодом Lambda. После получения устройства подключите его к своей локальной сети и назначьте IP-адрес (вручную или через DHCP). Затем разблокируйте устройство Snowball Edge и приступайте к копированию данных. Когда устройство будет готово к обратной отправке, метка пересылки E Ink автоматически обновится, и отслеживать состояние задания можно будет с помощью сервиса Amazon Simple Notification Service (Amazon SNS), текстовых сообщений или электронных писем, а также непосредственно в Консоли.

Примеры использования

Встроенные приложения

Во встроенных приложениях, например для медицинской визуализации, устройства Snowball Edge используются для поддержки систем сканирования и обработки изображений. Такие системы могут сохранять данные по мере получения, благодаря чему локальные пользователи и системы администрирования получают моментальный доступ к ним независимо от проблем с подключением к глобальной сети. Кластер устройств Snowball Edge может служить для промежуточного локального хранения данных, что позволяет выполнять периодическую отправку данных в Amazon S3 без нарушения работы локальных систем.

Удаленные объекты с простыми данными

Устройства Snowball Edge идеально подходят для удаленных приложений, нуждающихся в предварительной обработке данных, такой как маркировка изображений, проверка, сжатие и систематизация. Собирайте данные, быстро получайте результаты, выполняйте предварительную подготовку данных для облачных приложений аналитики и отправляйте обратно в AWS.

ПРОИЗВОДСТВО

На заводах устройства Snowball Edge используются для сбора и анализа производственных данных в целях оптимизации рабочих процессов, повышения безопасности, эффективности, продуктивности и заблаговременного выявления неполадок. Периодически данные передаются обратно в AWS для крупномасштабного анализа, позволяющего выявить важные тенденции и шаблоны.

Интернет вещей

Snowball Edge можно использовать для сбора данных от датчиков IoT или из журналов оборудования. Для быстрого получения результатов можно выполнять анализ необработанных данных, а через некоторое время передавать результаты в озеро данных на AWS для аналитических приложений и архивирования.

Примеры использования

Для дронов

Компания InSitu, подразделение Boeing, использует дронов для съемки в особо удаленных местностях, например на лесных пожарах, территориях военных действий, площадках разработки ископаемых открытым способом и в скважинах в пустынях. За миллионы часов дроны снимают терабайты изображений высокого разрешения. Сбор данных в столь удаленных местностях стоит дорого, поэтому перед возвращением дронов на базу важно убедиться, что необходимые изображения получены. InSitu использует устройства Snowball Edge для предварительной обработки и передачи данных в облачное приложение аналитики.
 

This Is My Architecture, re:Invent 2017 (48:34). Презентация InSitu начинается на отметке 34:24

В пустыне

Принять и обработать контент от 130 000 посетителей фестиваля электронной музыки в пустыне? Это задача как раз для Snowball Edge. Технологический директор компании Insomniac Дэвид Чен рассказывает, как заменил дисковые накопители и массивы хранения для временных сетей интенсивной обработки мультимедиа по всему миру.

Insomniac's Electric Daisy Carnival (2:24)

В море

Центр океанологии имени Хэтфилда при Университете штата Орегон – ведущая лаборатория океанологии, которая служит базой для исследовательской, образовательной и просветительской деятельности университета в области изучения морских и прибрежных территорий. В прошлом организация использовала дисковые накопители для сбора данных на исследовательском судне и затем вручную выгружала данные на серверы в университетском ЦОД. Теперь центр использует AWS Snowball Edge для сбора и анализа 100 ТБ снимков морских и прибрежных территорий в режиме реального времени с помощью встроенных в устройство вычислительных возможностей. По прибытии на берег данные передаются в облако. 

OSU's shipboard research data management program (3:47)

В зонах военных действий

Устройства Snowball Edge предназначены для надежного развертывания в неблагоприятных условиях и соответствуют военному стандарту MIL-S-901D по устойчивости к механическому ударному воздействию. Этот стандарт применяется для оборудования, установленного на морских судах. В этом видео демонстрируется испытание устройства на барже путем серии взрывов в пруду на разных расстояниях и глубине для передачи ударного импульса.

60 pounds of HBX-1 explosive 24 feet underwater (1:21)

Публикации в блогах и статьи

140940_AWS_Multi-Logo Graphic_600x400_DoD
AWS Snowball Edge for the DoD: Bringing Storage and Compute to Tactical Situations
 
Джефф Барр
aws-icon-dms
 
Эйяз Сайид и Митчелл Герспан

Начать работу с AWS

icon1

Зарегистрировать аккаунт AWS

Получите мгновенный доступ к уровню бесплатного пользования AWS.
icon2

Обучение с помощью 10-минутных учебных пособий

Ищите информацию и учитесь с помощью простых учебных пособий.
icon3

Начните разработку с AWS

Начните создавать проекты на AWS с помощью пошаговых руководств.