AWS IoT Greengrass ML Inference

Развертывание моделей машинного обучения, оптимизированных для запуска на устройствах AWS IoT Greengrass

AWS IoT Greengrass позволяет локально формировать на устройствах выводы с использованием машинного обучения, применяя модели, созданные, обученные и оптимизированные в облаке. С AWS IoT Greengrass можно использовать модели машинного обучения, созданные с помощью Amazon SageMaker, или предварительно обученные собственные модели, хранящиеся в Amazon S3.

В машинном обучении используются статистические алгоритмы, способные обучаться на основе существующих данных, чтобы принимать решения о новых данных. Этот процесс называется «построением логического вывода». На основе выявленных в процессе обучения шаблонов и связей в данных строится модель. Модель позволяет системе принимать интеллектуальные решения о данных, с которыми она раньше не сталкивалась. В результате оптимизации моделей их размер уменьшается, поэтому они работают быстрее. Для обучения и оптимизации моделей машинного обучения требуются огромные вычислительные ресурсы, поэтому облако идеально подходит для работы с ними. При этом построение логических выводов требует намного меньше вычислительных мощностей и часто выполняется в режиме реального времени по мере поступления новых данных. Получение логических выводов с очень низкой задержкой крайне важно для гарантии быстрого реагирования IoT‑приложений на локальные события.

AWS IoT Greengrass позволяет одновременно выполнить эти два условия. При работе с сервисом используются модели машинного обучения, которые создаются, обучаются и оптимизируются в облаке, а логические выводы формируются локально на устройствах. Например, можно создать в SageMaker прогнозирующую модель для анализа обнаруженных сцен, оптимизировать ее для работы на любой камере, а затем выполнить ее развертывание для прогнозирования подозрительной активности и отправки предупреждений. Данные, полученные с помощью логических выводов на AWS IoT Greengrass, можно отправить обратно в SageMaker, где они снабжаются метками и используются для непрерывного повышения качества моделей машинного обучения.

Преимущества

Гибкость

AWS IoT Greengrass включает предварительно созданную среду глубокого обучения Amazon SageMaker Neo, а также готовые пакеты Apache MXNet, TensorFlow и Chainer для устройств на базе Intel Atom, NVIDIA Jetson TX2 и Raspberry Pi. Это избавляет от необходимости создавать и настраивать платформу машинного обучения для устройств с нуля. Кроме того, поддерживаются другие популярные платформы, в т. ч. PyTorch и Caffe2. При использовании Amazon SageMaker Neo с IoT Greengrass написанные на этих платформах модели преобразуются в переносимый код, который может работать на любом устройстве AWS IoT Greengrass с установленной средой выполнения Neo, поэтому выполнять дополнительную настройку на периферийных устройствах не требуется.

Развертывание моделей на подключенных устройствах за несколько щелчков мышью

AWS IoT Greengrass дает возможность без труда выполнять развертывание моделей машинного обучения на устройствах прямо из облака. За несколько щелчков мышью в консоли AWS IoT Greengrass можно найти обученные модели в Amazon SageMaker или Amazon S3, выбрать нужную модель и выполнить ее развертывание на целевых устройствах. Развертывание модели выполняется на выбранных подключенных устройствах.

Ускорение получения логических выводов

Благодаря интеграции с Amazon SageMaker и компилятором глубокого обучения Neo можно развертывать модели машинного обучения с оптимизированной средой исполнения, которая работает в два раза быстрее, чем при ручной настройке или использовании платформ машинного обучения. AWS IoT Greengrass также предоставляет доступ к аппаратным ускорителям (например, к графическим процессорам на подключенных устройствах) благодаря наличию предустановленных сред выполнения для типовых платформ машинного обучения и целевых устройств, таких как плата Nvidia Jetson TX2.

Получение логических выводов на большем количестве устройств

Благодаря интеграции с Amazon SageMaker и компилятором Neo модели проходят оптимизацию и занимают менее одной десятой объема памяти, поэтому могут работать на устройствах с ограниченными ресурсами, таких как камеры видеонаблюдения и датчики.

Удобство получения логических выводов на подключенных устройствах

Получение логических выводов на локальных устройствах, работающих под управлением AWS IoT Greengrass, снижает задержки и стоимость отправки данных с устройства в облако для выполнения прогноза. Вместо отправки всех данных в облако для получения логических выводов с помощью машинного обучения логические выводы формируются непосредственно на устройстве.

Создание более точных моделей

Используя AWS IoT Greengrass, можно получать логические выводы, захватывать результаты, обнаруживать отклонения и отправлять данные обратно в облако и Amazon SageMaker, где их можно повторно классифицировать, снабжать метками и использовать для переобучения с целью увеличения точности модели машинного обучения.

Как это работает

Примеры использования

Профилактическое техническое обслуживание в промышленности

По мере усиления ценовой конкуренции производители ищут новые способы повышения эксплуатационной эффективности заводских площадей. Задержки в выявлении проблем на сборочном конвейере могут привести к потерям времени и ресурсов. AWS IoT Greengrass обеспечивает раннее обнаружение неисправного оборудования и неполадок в заводских цехах. Промышленные шлюзы с поддержкой IoT Greengrass способны осуществлять непрерывный мониторинг данных, получаемых с датчиков (например, уровня вибрации и шума), прогнозировать отказы оборудования и принимать соответствующие меры, например отправлять оповещения или останавливать рабочий процесс для сокращения убытков.

Точное земледелие

Сегодня сельское хозяйство сталкивается с двумя большими проблемами. Во‑первых, численность населения в мире продолжает расти, в результате чего спрос на продукты питания превышает предложение. Во‑вторых, изменения климата влекут за собой непредсказуемые погодные условия, что негативно влияет на урожайность. AWS IoT Greengrass позволяет изменить практику сельхозработ и предоставляет клиентам новые возможности. Камеры с поддержкой AWS IoT Greengrass, установленные в тепличных и фермерских хозяйствах, способны обрабатывать изображения сельскохозяйственных культур и данные, получаемые с датчиков в почве, для выявления природных аномалий, например изменений температуры, влажности и уровня питательных веществ, а также для отправки оповещений.

Безопасность

Производители камер видеонаблюдения ищут новые способы расширения интеллектуальных возможностей устройств и автоматизации обнаружения вторжения. AWS IoT Greengrass позволяет расширить возможности камер видеонаблюдения. Камеры с поддержкой AWS IoT Greengrass способны непрерывно сканировать территорию, обнаруживать изменения, например входящих посетителей, и отправлять предупреждения. Камеры могут быстро анализируют обнаруженные сцены локально и отправляют данные в облако только при необходимости.

Розничная торговля и гостиничный бизнес

Предприятия розничной торговли, организаторы круизов и парки развлечений инвестируют в приложения IoT, чтобы улучшить обслуживание клиентов. Например, можно использовать модели обнаружения объектов в парках аттракционов для подсчета посетителей. Камеры могут обнаруживать посетителей и вести их подсчет локально без отправки огромного количества видеоданных в облако, что часто представляет проблему из‑за ограниченной пропускной способности интернет‑подключений. Такое решение позволяет прогнозировать время ожидания на популярных аттракционах и повышать качество обслуживания клиентов.

Обработка видео

Чтобы выполнять прогнозы локально, AWS IoT Greengrass можно развертывать на подключенных устройствах, таких как камеры наблюдения, дорожные камеры, нагрудные камеры и медицинское оборудование для визуализации. AWS IoT Greengrass позволяет развертывать и запускать такие модели машинного обучения, как распознавание лиц, обнаружение объектов и определение плотности изображений, непосредственно на устройстве. Например, дорожная камера может подсчитывать количество велосипедов, транспортных средств и пешеходов, пересекающих перекресток, и определять необходимость регулирования сигналов светофора для оптимизации транспортных потоков и обеспечения безопасности людей.

Избранные клиенты

AWS IoT Greengrass помогает Yanmar расширять интеллектуальные возможности ведения тепличного хозяйства за счет автоматического обнаружения и распознавания основных стадий роста овощей, что позволяет повышать объем продукции.

The Electronic Caregiver обеспечивает высокое качество ухода с помощью AWS IoT Greengrass ML Inference и может применять модели машинного обучения напрямую в периферийных устройствах, повышая безопасность пациентов.

С помощью AWS IoT Greengrass компания Vantage Power может применять модели машинного обучения для обслуживания транспортных средств и выявлять проблемы аккумуляторов за месяц до возможного выхода из строя.