AWS Snowball Edge

Перемещение петабайтов данных с использованием портативного хранилища и встроенных вычислительных ресурсов

AWS Snowball Edge – это устройство объемом 100 ТБ для переноса данных и выполнения вычислений в периферийных местоположениях. Вычислительные задачи выполняются с помощью приложений на инстансах Amazon EC2 или функций AWS Lambda. Клиенты могут использовать такие устройства для машинного обучения, сбора, обработки и хранения данных перед отправкой в AWS в средах с нестабильным сетевым подключением (например, на производстве, в промышленности или транспортной отрасли), а также на сильно удаленных площадках (например, на военных базах или морских судах). Устройства можно устанавливать в стойку и объединять в кластеры для создания временных более крупных инсталляций.

Сервис AWS Snowball Edge поддерживает определенные типы инстансов Amazon EC2 и функций AWS Lambda, что позволяет клиентам проводить разработку и тестирование на AWS, а затем развертывать приложения на удаленных площадках на устройствах для сбора и предварительной обработки данных перед отправкой в AWS. В числе распространенных примеров использования AWS Snowball Edge – перенос и транспортировка данных, сопоставление изображений, захват потоковых данных с датчиков IoT и машинное обучение.

Знакомство с Snowball Edge

Преимущества

Простое перемещение данных

С помощью AWS Snowball Edge перемещение нескольких терабайтов данных можно выполнить примерно за неделю. Клиенты могут использовать сервис для перемещения баз данных, резервных копий, архивов, медицинских записей, мультимедийного контента, наборов данных для аналитики и данных от датчиков IoT. Использование AWS Snowball Edge особенно актуально в условиях, когда качество сетевого подключения делает невозможным оперативное перемещение большого объема данных в облако AWS или из него.

Простота использования

Задание можно создать в Консоли управления AWS. После поступления задания AWS автоматически высылает по указанному адресу готовое к работе устройство Snowball Edge. Получив устройство, просто подключите его к локальной сети и к своим приложениям. Когда устройство готово к обратной отправке, метка пересылки E Ink автоматически обновляется, и транспортная компания доставляет устройство в соответствующий ЦОД AWS для перемещения данных. Состояние задания можно отслеживать с помощью сообщений Amazon SNS, по электронной почте или непосредственно в Консоли.

Локальные обработка и анализ данных

Запустите образы AMI EC2 и разверните код AWS Lambda на устройстве Snowball Edge, чтобы запустить локальную обработку и анализ с машинным обучением или другие приложения. Разработчики и администраторы могут запускать приложения непосредственно на устройстве, настроенном в полном соответствии со средой AWS, без подключения к сети. Такая возможность позволяет клиентам разрабатывать и тестировать инструменты машинного обучения и анализа в облаке, а затем, перед отправкой данных обратно в AWS, развертывать приложения в средах, где сетевое подключение ограничено или отсутствует. Snowball Edge может собирать данные (в том числе дополнительные и нераспознанные) с самых удаленных сайтов, что позволяет усовершенствовать и распространять модели машинного обучения.

Независимое хранилище

Устройства Snowball Edge могут служить в качестве локальных хранилищ данных для существующих в локальных средах приложений. При этом используется протокол общего доступа к файлам (NFS) или интерфейс объектного хранилища (API сервиса S3). Кроме того, несколько устройств Snowball Edge можно объединить в более крупный уровень хранения с повышенной надежностью. Если устройство Snowball Edge требует замены, его можно удалить из кластера и установить взамен новое.

 

Безопасность

В устройствах Snowball Edge используется корпус с защитой от вскрытия, 256-битное шифрование и стандартный для отрасли модуль доверенной платформы (TPM), гарантирующий безопасность и обеспечивающий контроль процесса передачи и хранения данных. Управление ключами шифрования происходит с помощью сервиса AWS Key Management Service (KMS). Ключи шифрования ни при каких обстоятельствах не сохраняются на устройстве.

Масштабируемость

С помощью одного устройства Snowball Edge можно переместить терабайты данных, а несколько устройств параллельно или в кластере обеспечивают передачу петабайтов данных в облако AWS или из него. Устройства Snowball Edge доступны не во всех регионах. При создании запроса в Консоли управления AWS будет проверяться доступность данной услуги для выбранного региона.

Как это работает

Чтобы заказать устройство Snowball Edge, достаточно нескольких щелчков мышью в Консоли управления AWS. Устройство поставляется с настроенными корзинами S3, готовой конфигурацией кластеризации и предустановленными образами AMI EC2 или кодом Lambda (вместе с приложениями аналитики и моделями машинного обучения). После получения устройства подключите его к своей локальной сети и назначьте IP-адрес (вручную или через DHCP). Затем разблокируйте устройство Snowball Edge и приступайте к копированию данных. Если передача завершена и устройство готово к обратной отправке, метка пересылки E Ink будет автоматически обновлена, и вы сможете отслеживать состояние задания посредством сервиса Amazon Simple Notification Service (Amazon SNS), текстовых сообщений или электронных писем, а также непосредственно в Консоли. 

Примеры использования

Встроенные приложения

Во встроенных приложениях, например для медицинской визуализации, устройства Snowball Edge используются для поддержки систем сканирования и обработки изображений. Такие системы могут сохранять данные по мере получения, благодаря чему локальные пользователи и системы администрирования получают моментальный доступ к ним независимо от проблем с подключением к глобальной сети. Кластер устройств Snowball Edge может служить для промежуточного локального хранения данных, что позволяет выполнять периодическую отправку данных в Amazon S3 без нарушения работы локальных систем.

Удаленные объекты с простыми данными

Устройства Snowball Edge идеально подходят для удаленных приложений, требующих предварительной обработки данных, например маркировки, проверки, сжатия и систематизации изображений. Собирайте данные, быстро получайте результаты, выполняйте предварительную подготовку данных для облачных приложений аналитики и отправляйте обратно в AWS.

МАШИННОЕ ОБУЧЕНИЕ

Сервис AWS Snowball Edge дает возможность развертывать и запускать модели машинного обучения (например, распознавание лиц) непосредственно на устройстве в целях оптимизации рабочих процессов, повышения эффективности, продуктивности и заблаговременного выявления неполадок. Кроме того, Snowball Edge можно использовать для перемещения данных из удаленных или мобильных объектов в облако AWS для применения в машинном обучении.

ПРОИЗВОДСТВО

На производственных площадках устройства Snowball Edge используются для сбора и анализа производственных данных в целях оптимизации рабочих процессов, повышения безопасности, эффективности, продуктивности и заблаговременного выявления неполадок. Данные периодически передаются обратно в AWS для крупномасштабного анализа, позволяющего выявить важные тенденции и шаблоны.

ИНТЕРНЕТ ВЕЩЕЙ (IoT)

Snowball Edge можно использовать для сбора данных от датчиков IoT или из журналов оборудования. Для быстрого получения результатов можно выполнять анализ необработанных данных, а через некоторое время передавать результаты в озеро данных на AWS для аналитических приложений и архивирования.

Примеры использования

Для дронов

Компания InSitu, подразделение Boeing, использует дронов для съемки в особо удаленных местностях, например в зонах военных действий, на лесных пожарах, площадках разработки ископаемых открытым способом и в скважинах в пустынях. За миллионы часов дроны снимают терабайты изображений высокого разрешения. Сбор данных в столь удаленных местностях стоит дорого, поэтому перед возвращением дронов на базу важно убедиться, что необходимые изображения получены. Устройства Snowball Edge применяются для предварительной обработки и передачи данных в облачное приложение аналитики.
 

This Is My Architecture: re:Invent 2017 (48:34). Презентация InSitu начинается на отметке 34:24

В пустыне

Принять и обработать контент от 130 000 посетителей фестиваля электронной музыки в пустыне? Это задача как раз для Snowball Edge. Дэвид Чен, технический директор компании Insomniac, рассказывает, как заменил дисковые накопители и массивы хранения для временных сетей интенсивной обработки мультимедиа по всему миру.

Insomniac's Electric Daisy Carnival (2:24)

В море

Центр океанологии имени Хэтфилда при Университете штата Орегон – ведущая лаборатория океанологии, которая служит базой для исследовательской, образовательной и просветительской деятельности университета в области изучения морских и прибрежных территорий. В прошлом организация использовала дисковые накопители для сбора данных на исследовательском судне и затем вручную выгружала данные на серверы в университетском ЦОД. Теперь центр использует AWS Snowball Edge для сбора и анализа 100 ТБ снимков морских и прибрежных территорий в режиме реального времени с помощью встроенных в устройство вычислительных возможностей. По прибытии на берег данные передаются в облако. 

OSU's shipboard research data management program (3:47)

В зонах военных действий

Устройства Snowball Edge предназначены для надежного развертывания в неблагоприятных условиях и соответствуют военному стандарту MIL-S-901D по устойчивости к механическому ударному воздействию. Этот стандарт применяется для оборудования, установленного на морских судах. Посмотрите испытание устройства на барже путем серии взрывов в пруду на разных расстояниях и глубине для передачи ударного импульса.

60 pounds of HBX-1 explosive 24 feet underwater (1:21)

Публикации в блогах и статьи

Бернард Голден
Глава Cloud Stratgy
Capital One

 
DoD SRG
 
Блог AWS для представителей государственного сектора

Начать работу с AWS

icon1

Зарегистрируйте аккаунт AWS

Получите мгновенный доступ к уровню бесплатного пользования AWS.
icon2

Обучение с помощью 10-минутных учебных пособий

Знакомьтесь с сервисами и учитесь с помощью простых учебных пособий.
icon3

Начните разработку с AWS

Начните создавать проекты на базе AWS с помощью пошаговых руководств.