亚马逊AWS官方博客
Amazon SageMaker Edge Manager 简化了边缘设备上的机器学习模型操作
今天，我非常高兴地宣布推出 Amazon SageMaker Edge Manager，它是 Amazon SageMaker 的一项新功能，可用于在边缘设备队列中更轻松地优化、保护、监控和维护机器学习模型。
边缘计算无疑是信息技术中最令人兴奋的发展之一。事实上，由于计算、存储、网络和电池技术的持续发展，组织定期在世界各地部署大量嵌入式设备，用于广泛的行业应用：制造业、能源、农业、医疗保健等。从简单的传感器到大型工业机器，这些设备都有一个共同的目的：捕获数据、分析数据并对其采取行动，例如，在检测到不必要的情况时发送警报。
由于机器学习 (ML) 展现出其解决各种业务问题的能力，客户试图将其应用于边缘应用程序，以在云中训练模型并将其部署到边缘，以期能够从本地数据中提取更深入的见解。但是，鉴于边缘设备的远程和受限性质，在边缘部署和管理模型通常非常困难。
例如，复杂的模型可能因为太大而无法适应，从而使客户不得不接受一个更小、精确度较低的模型。此外，在同一台设备上使用多个模型进行预测（例如，检测不同类型的异常）可能需要额外的代码来按需加载和卸载模型，以节省硬件资源。最后，监控预测质量是一个主要问题，因为现实世界永远比任何训练集所能预测的更加复杂和不可预测。
客户要求我们帮助他们解决这些挑战，我们必须行动起来。
宣布推出 Amazon SageMaker Edge Manager
Amazon SageMaker Edge Manager 使机器学习边缘开发人员能够在云中或边缘设备上使用相同的熟悉工具。它可以减少将模型投入生产所需的时间和精力，同时持续监控和提高整个设备队列的模型质量。
从您在 Amazon SageMaker 中训练或导入的模型开始，SageMaker Edge Manager 首先使用 Amazon SageMaker Neo 针对您的硬件平台对其进行优化。两年前推出的 Neo 将模型转换为高效的通用格式，通过低占用空间运行时在设备上执行。Neo 目前支持基于 Ambarella、ARM、Intel、NVIDIA、NXP、Qualcomm、TI 和 Xilinx 制造的芯片的设备。
然后，SageMaker Edge Manager 对模型进行打包，并将它存储在 Amazon Simple Storage Service (S3) 中，可以在该服务中将模型部署到您的设备中。事实上，您可以部署多个模型，使用针对所选硬件进行优化的运行时进行加载和预测。
设备上的模型由 SageMaker Edge Manager 管理器代理管理，该代理与 AWS 云通信以进行模型部署，并且与应用程序通信以进行模型管理。事实上，您可以将此代理与应用程序集成，以便它可以根据您的预测请求自动加载和卸载模型。这可以实现各种场景，例如在需要时为大型模型释放所有资源，或者使用内存中共同存在的较小的模型集合。
全球第一大 PC 制造商联想最近已将 SageMaker 合并到其最新的 AI 驱动型 SaaS 产品中。联想负责个人电脑和智能设备云与软件的副总裁 Igor Bergman 告诉我们：“在联想，我们不仅仅是硬件提供商，而且还致力于成为可信赖的合作伙伴，以期改变客户的设备体验和实现其业务目标。联想设备智能是我们利用 Amazon SageMaker 增强的机器学习功能来实现这一目标的一个很好的例子。借助联想设备智能，IT 管理员可以主动诊断 PC 问题，并在潜在的系统故障发生之前帮助预测这些问题，从而帮助减少停机时间并提高员工生产效率。通过加入 Amazon SageMaker Neo，我们已经看到设备上的预测模型的执行情况有了显著改善，这对于将在未来几周内添加的新款 Amazon SageMaker Edge Manager 来说，这是一个令人鼓舞的迹象。SageMaker Edge Manager 将帮助消除在部署后优化、监控和持续改进模型所需的人工工作。有了它，我们预计我们的模型将比其他同类机器学习平台运行得更快，消耗的内存更少。随着我们将 AI 扩展到联想服务产品组合的新应用程序中，我们在云和数百万边缘设备中将继续需要灵活且可扩展的高性能管道。这就是我们选择 Amazon SageMaker 平台的原因。凭借其丰富的边缘到云和 CI/CD 工作流程功能，我们可以有效地将机器学习模型引入任何设备工作流程中，从而提高生产效率。”
入门
如您所见，SageMaker Edge Manager 使处理边缘设备上部署的机器学习模型变得更加轻松。该服务现已在美国东部（弗吉尼亚北部）、美国西部（俄勒冈）、美国东部（俄亥俄）、欧洲（爱尔兰）、欧洲（法兰克福）和亚太地区（东京）区域推出。
您可以通过示例笔记本立即开始使用。立即试用它们，并向我们提供反馈。
我们始终期待您的反馈，您可通过一贯的 AWS Support 联系人向我们提供反馈，也可在针对 SageMaker 在 AWS 论坛上提供反馈。