AWS IoT Greengrass ML Inference

部署优化机器学习模型以在 AWS IoT Greengrass 设备上运行

AWS IoT Greengrass 支持使用在云中创建、训练和优化的模型，轻松在设备本地执行机器学习推理。借助 IoT Greengrass，您可以灵活地使用在 Amazon SageMaker 中训练的机器学习模型，或使用您在 Amazon S3 中存储的已经预先训练好的模型。

机器学习使用根据现有数据所学习（该过程称为训练）的统计算法，以便对新数据做出决策（该过程称为推理）。在训练期间，将识别数据中的模式和关系，以建立模型。该模型让系统能够对之前从未遇到过的数据做出明智的决策。优化模型过程中会压缩模型大小，以便快速运行。训练和优化机器学习模型需要大量计算资源，因此与云是天然良配。但是，推理需要的计算能力要少得多，并且往往在有新数据可用时实时完成。要想确保您的 IoT 应用程序能够快速响应本地事件，则必须能够以非常低的延迟获得推理结果。

IoT Greengrass 为您提供了两全其美的解决方案。您可使用在云中构建、训练和优化的机器学习模型，并在设备上本地运行推理。例如，您可在 SageMaker 中构建预测模型以用于场景检测分析，对其进行优化以便在任何摄像机上运行，然后部署该模型以便预测可疑活动并发送警报。在 IoT Greengrass 上运行推理过程所收集到的数据可发送回 SageMaker，然后就地标记，并用于不断提高机器学习模型的质量。

优势

灵活

AWS IoT Greengrass 包含预先构建的 Amazon SageMaker Neo Deep Learning Runtime (DLR)、Apache MXNet、TensorFlow 和 Chainer 软件包，适用于使用 Intel Atom、NVIDIA Jetson TX2 和 Raspberry Pi 的设备，因此您无需从头开始为您的设备构建和配置机器学习框架。此外，AWS IoT Greengrass 还适用于其他流行框架，包括 PyTorch 和 Caffe2。如果您将 Amazon SageMaker Neo 与 AWS IoT Greengrass 一起使用，则通过这些框架编写的模型将转换为可在任何包含 Neo Runtime 的 AWS IoT Greengrass 设备上运行的可移植代码，这样您就不必在边缘设备上进行额外调整了。

单击几下即可将模型部署到您的互联设备

AWS IoT Greengrass 可让您轻松地将机器学习模型从云部署到设备。只需在 IoT Greengrass 控制台中单击几下，即可在 Amazon SageMaker 或 S3 中找到经过训练的模型，选择所需模型，然后将其部署到目标设备。您的模型将在您选择的互联设备上部署。

加速推理性能

通过与 Amazon SageMaker 和 Neo Deep Learning Compiler 集成，您可通过优化的运行时来部署机器学习模型，与手动调整或使用机器学习框架相比，运行速度最高可达两倍。AWS IoT Greengrass 还通过为常见的 ML 框架和目标设备（如 Nvidia Jetson TX2 主板）提供预先构建的运行时，让您可以访问硬件加速器（如设备上的 GPU）。

在更多设备上运行推理

通过与 Amazon SageMaker 和 Neo Compiler 集成，经过优化的模型内存占用空间不超过十分之一，因此可以在资源有限的设备（如家用监控摄像头和驱动器）上运行。

轻松地在互联设备上运行推理

在运行 AWS IoT Greengrass 的设备上本地执行推理可以降低延迟，并减少将设备数据发送至云端进行预测所需的成本。您可直接在设备上运行推理，而无需将所有数据发送至云端执行机器学习推理。

构建更准确的模型

利用 AWS IoT Greengrass，您可执行推理，获取结果，检测异常值，并将数据发送回云端和 Amazon SageMaker，然后就地进行重新分类、标记和用于模型再训练，以改进机器学习模型的精确性。

工作原理

使用案例

预测性工业维护

随着定价压力的增加，制造商正在寻找更新的方法来帮助提高工厂车间的运营效率。制造流水线上的问题检测延迟会导致时间和资源的浪费。AWS IoT Greengrass 可帮助您及早发现设备故障和工厂车间问题。由 IoT Greengrass 提供支持的工业网关可以持续监控传感器数据（例如振动、噪声级）、预测异常情况并采取相关措施（例如发送提醒或停止设备），从而最大限度地减少损失。

精准农业

农业正在面临两项主要干扰。第一，世界人口不断增长，导致粮食需求量超过产量。第二，气候变化导致不可预测的天气条件，影响农作物产量。AWS IoT Greengrass 可帮助转变农业实践，为客户带来新价值。安装在温室和农场的由 IoT Greengrass 提供支持的摄像机可以处理植物、农作物的图像以及来自土壤中传感器的数据，不仅能够检测环境异常（如温度、湿度和营养水平的变化），还能够触发提醒。

安全性

监控摄像头制造商正在寻找新的方法来使设备更加智能化并自动化威胁检测功能。AWS IoT Greengrass 可帮助改进监控摄像头的功能。启用 IoT Greengrass 的摄像头可持续扫描建筑物以查找场景中的变化（例如访客）并发送警报。摄像头能够快速在本地执行场景检测分析，并仅在需要时将数据发送到云。

零售和酒店

零售商、邮轮公司和游乐园正在投资物联网应用程序，以提供更好的客户服务。例如，您可以在游乐场运行物体检测模型以跟踪游客数量。摄像机可以定位游客，并以本地方式维持流动人数统计，而无需向云发送大量视频源。鉴于互联网带宽有限，向云发送视频源往往是充满挑战的。该解决方案可以预测热门主题乐园游乐设施的等待时间，帮助改善客户体验。

视频处理

AWS IoT Greengrass 可以部署在监控摄像头、电子警察、随身摄像头和医疗成像设备等互联设备上，以帮助它们在本地进行预测。借助 AWS IoT Greengrass，您可以直接在设备上部署和运行面部识别、物体检测和影像密度等机器学习模型。例如，电子警察可以统计通过路口的自行车、车辆和行人，并检测何时需要调整交通信号，以优化交通流量并确保人员安全。