Amazon SageMaker Neo

只需训练一次模型,可在任何位置运行,性能提升多达 2 倍。

借助 Amazon SageMaker Neo,开发人员只需训练一次机器学习模型,便可在云端和边缘的任何位置运行。Amazon SageMaker Neo 可将模型的运行速度优化到两倍,同时仅占用 1/10 的内存,也不会对准确性造成任何影响。

开发人员投入大量时间和精力来开发准确的机器学习模型,以实现快速实时的低延迟预测。对于内存和处理能力高度受限但延迟又非同小可的边缘设备,该功能尤其重要。例如,无人驾驶车辆中的传感器通常需要在千分之一秒内处理完数据,因此往返云端是不可能的。此外,边缘设备存在各种不同的硬件平台和处理器架构。为了实现高性能,开发人员需要花费数周或数月的时间手动调优每个模型。同时,由于复杂的调优流程,模型在部署到边缘后很少进行更新。开发人员因而错失根据边缘设备所收集的数据来重新训练和改进模型的机会。

Amazon SageMaker Neo 可自动优化机器学习模型,可使处理速度达到两倍,同时不会影响准确性。您可以使用 MXNet、TensorFlow、PyTorch 或 XGBoost 开始构建机器学习模型,并使用 Amazon SageMaker 训练模型。然后可从 Intel、Nvidia 或 Arm 选择目标硬件平台。只需单击一下,SageMaker Neo 就会将训练的模型编译为可执行程序。编译器利用神经网络探索和应用所有特定性能优化,使您的模型在目标硬件平台上最高效地运行。然后即可部署模型,在云端或边缘进行预测。可以使用 AWS Greengrass 将本地计算和 ML 推理功能带到边缘。为了帮助简化边缘部署,AWS Greengrass 支持 Neo 优化模型,使您可以通过无线更新直接将模型部署到边缘。

Neo 使用 Apache TVM 和其他合作伙伴提供的编译器和内核库。Neo 可用作采用 Apache 软件许可证的 Neo-AI 项目的开源代码,使开发人员能够为不同的设备和应用定制软件。

优势

ML 模型运行性能提高到两倍

Amazon SageMaker Neo 可自动优化 TensorFlow、MXNet、PyTorch 和 XGBoost 机器学习模型,可使处理速度达到两倍,同时不会影响准确性。通过使用深度学习,SageMaker Neo 可为您将要在其中部署模型的特定模型和硬件探索和应用代码优化。您将获得手动调优的性能优势,而无需花费数周的时间和精力。



将框架规模缩小到 1/10

Amazon SageMaker Neo 将减少您模型框架中运行的软件集,仅保留必要的部分来作出预测。通常,这会将框架所需的内存量减少到 1/10。然后模型和框架会被编译为单一可执行程序,并部署到生产中来执行快速、低延迟预测。 

在多个硬件平台上运行同一 ML 模型

借助 Amazon SageMaker Neo,您只需训练一次习模型,然后即可使用单一可执行程序在任何地方运行。Neo 了解如何根据 Intel、NVIDIA、ARM、Cadence、Qualcomm 和 Xilinx 处理器架构自动优化您的模型,这让您只需在 Amazon SageMaker 控制台中点击几下,便可将模型应用于多个平台。 

工作原理

Product-Page-Diagram_Neo-How-it-Works

主要功能

使用自己喜欢的深度学习框架

Amazon SageMaker Neo 可将 TensorFlow、MXNet、和 PyTorch 特定框架的功能和操作转换为可在任何地方运行的单一编译可执行程序。Neo 会自动编译和生成所需的软件代码。

轻松高效的软件操作

Amazon SageMaker Neo 会输出部署于云实例和边缘设备的可执行程序。Neo Runtime 会将部署平台上资源(例如存储)使用量减少到 1/10,并消除对框架的依赖。例如,Neo Runtime 仅占用 2.5MB 的存储,而相比之下依赖框架的部署可占用高达 1GB 的存储。

开源软件

Neo 可用作采用 Apache 软件许可证的 Neo-AI 项目的开源代码。因此开发人员和硬件供应商将可自定义应用程序和硬件平台,并充分利用 Neo 在功能优化和减少资源使用方面的技术。 

Product-Page_Standard-Icons_01_Product-Features_SqInk
查看 Amazon SageMaker Neo 功能

请参阅该文档以了解如何使用 Amazon SageMaker Neo 的说明。

Product-Page_Standard-Icons_02_Sign-Up_SqInk
注册免费账户

立即享受 AWS 免费套餐。 

注册 
Product-Page_Standard-Icons_03_Start-Building_SqInk
开始在控制台中构建

使用 Amazon SageMaker Neo 开始在 AWS 管理控制台中构建。

登录