亚马逊AWS官方博客

Tag: TVM

Sagemaker Neo优化目标检测模型加速推理

该文以目标检测模型着手,演示如何一步步基于Sagemaker Neo对训练后的模型文件进行编译优化,来提升模型的推理速度。 文中以yolo3(backbone为mobilenet1.0)模型为例,分别演示模型准备,模型Neo编译,模型导出推理测试,可视化等过程, 推理结果显示基于Sagemaker Neo可以显著提升推理速度,达到一倍以上的加速。