AWS Greengrass 機器學習推論 – Amazon Web Services

AWS IoT Greengrass 可讓您輕鬆使用在雲端建立、訓練和優化的模型，在本地裝置上執行機器學習推論。AWS IoT Greengrass 讓您使用在 Amazon SageMaker 中訓練過的機器學習模型，或使用儲存於 Amazon S3 中自行預先訓練過的模型的靈活性。

機器學習使用從現有資料學習的統計演算法，這個過程稱為培訓，以便對新資料做出各種決策，這個過程稱為推論。在訓練期間找出資料中的模式和關係，以建立模型。之後，系統可以透過這個模型對以前沒有遇到過的資料做出明智的決定。優化模型會壓縮模型尺寸，使它能快速執行。訓練及優化 ML 模型需要大量的運算資源，因此非常適合在雲端進行。但是，推論一般需要很少的運算能力，並且通常在新的資料可用時即時完成。以非常短的延遲時間獲得推論結果非常重要，以確保 IoT 應用程式能夠快速回應本機事件。

AWS IoT Greengrass 為您提供兩全其美的解決方案。您使用在雲端建立、訓練和優化的機器學習模型，然後在本機裝置執行推論。例如，您可以在 SageMaker 中建立一個用於場景偵測分析的預測模型，針對在任何相機上執行進行優化，然後將它部署，以便預測可疑活動，並送出提醒訊號。從 AWS IoT Greengrass 上執行的推論收集的資料可以送回 SageMaker，加上標籤，並用來持續改進機器學習模型的品質。

優勢

靈活

AWS IoT Greengrass 包含預先建立的 Amazon SageMaker Neo Deep Learning Runtime (DLR)、Apache MXNet、TensorFlow 和採用 Intel Atom 技術的 Chainer 裝置用套件、NVIDIA Jetson TX2 和 Raspberry Pi，因此您無需從頭開始建立和設定您的裝置的機器學習架構。此外，它也可以和其他的熱門架構搭配使用，包括 PyTorch 與 Caffe2。如果您搭配 AWS IoT Greengrass 使用 Amazon SageMaker Neo，在這些架構中寫入的模型會轉換成能夠在任何包含 Neo 執行時間的 AWS IoT Greengrass 裝置上執行的可攜式程式碼，因此您無須在邊緣做額外的調校。

按幾下滑鼠即可將模型部署到連線的裝置

AWS IoT Greengrass 可讓您輕鬆地將機器學習模型從雲端部署到您的裝置。只需在 AWS IoT Greengrass 主控台中按幾下，即可在 Amazon SageMaker 或 Amazon S3 中找到經過訓練的模型、選擇您想要的模型，然後將其部署到目標裝置。您的模型將會部署到所選的連線裝置。

加速推論效能

透過 Amazon SageMaker 和 Neo 深度學習編譯器的整合，您可以部署具有優化執行時間的機器學習模型，執行速度最高可達手動調校或使用機器學習架構的兩倍。AWS IoT Greengrass 也提供常見機器學習架構和目標裝置 (例如 Nvidia Jetson TX2 電路板) 的預先建置執行時間，讓您可以存取硬體加速器 (例如裝置上的 GPU)。

在更多裝置上執行推論

使用 Amazon SageMaker 與 Neo 編譯器的整合時，優化模型所需的記憶體使用量不到十分之一，因此可以在資源受限的裝置 (例如居家安全相機和傳動器) 上執行。

在連線裝置上輕鬆執行推論

在執行 AWS IoT Greengrass 的裝置上本機執行推論，能降低將裝置資料傳送至雲端進行預測的延遲和成本。您是在裝置上直接執行推論，而不是將所有資料送到雲端執行機器學習推論。

建立更準確的模型

您可以使用 AWS IoT Greengrass 執行推論和擷取結果、偵測極端值，並將資料送回雲端和 Amazon SageMaker，將它重新分類、標記和用於模型重新訓練，以改善機器學習模型的正確性。

運作方式

使用案例

預測性工業維護

製造商面臨的價格壓力不斷增加，他們正在尋找更新的方法協助提高廠房的營運效率。無法即時偵測製造生產線上的問題，可能會造成時間和資源的浪費。AWS IoT Greengrass 可協助您及早發現設備故障和廠房問題。採用 IoT Greengrass 技術的工業閘道可持續監控感應器資料 (例如振動、噪音等級)、預測異常情況並採取相關措施，例如傳送提醒或停止設備，以最大限度地減少損失。

精準農業

農業正經歷兩大中斷危機。首先，世界人口持續增長導致糧食的需求超過產量。其次，氣候變化導致不可預測的天氣條件，影響農作物產量。AWS IoT Greengrass 可協助農業轉型並為客戶創造新價值。將採用 AWS IoT Greengrass 技術的攝影機安裝在溫室和農場，可以處理植物、農作物的影像和安裝在土壤中的感應器資料，不僅可以偵測溫度、濕度和養份高低變化等環境異常，還可以觸發提醒。

安全性

監控攝影機製造商正在尋找新的方法，讓裝置更加智慧並實現威脅偵測功能的自動化。AWS IoT Greengrass 可協助改進監控攝影機的功能。啟用 AWS IoT Greengrass 的攝影機可以持續掃描園區，以找出場景是否改變 (例如訪客) 並傳送提醒。這些攝影機能夠在本機快速執行場景偵測分析，並僅在需要時才將資料傳送至雲端。

零售和觀光旅遊

零售商、郵輪公司和遊樂園正在投資 IoT 應用程式，以提供更好的客戶服務。例如，您可以在遊樂園執行物件偵測模型以記錄訪客數量。攝影機可以找出訪客，並在本機持續計算人數，無需將大量的影片資料傳送到雲端，這通常會因遊樂園的網際網路頻寬限制而帶來很大的挑戰。這個解決方案可以預測熱門主題樂園遊樂設施的等待時間，協助改善客戶體驗。

影片處理

AWS IoT Greengrass 可以部署在連線裝置上，例如安全監控攝影機、交通攝影機、穿戴式攝影機和醫學造影設備，協助它們在本機進行預測。使用 AWS IoT Greengrass，您可以在裝置上直接部署和執行臉部辨識、物件偵測和影像密度等機器學習模型。例如，交通攝影機可以統計通過路口的自行車、汽車和行人數量，並偵測何時需要調整交通號誌，以優化交通流量並保護人們的安全。