发布于: Nov 1, 2017
Apache MXNet 版本 0.12 现在提供两项重要的新功能:对 NVIDIA Volta GPU 的支持,以及对 Sparse Tensor 的支持。
对 NVIDIA Volta GPU 架构的支持
MXNet v0.12 版本增加了对 NVIDIA Volta V100 GPU 的支持,这使得客户训练卷积神经网络的速度比在 Pascal GPU 上训练快 3.5 倍之多。Volta GPU 架构引入了 Tensor 核心,从而实现了混合精度训练。利用 Tensor 核心的混合精度,用户可以对大部分网络层使用 FP16 并只在必要时才使用更高精度的数据类型,从而获得最佳训练性能而又不降低准确度。只需传递一条简单的命令,您就可以利用 Volta Tensor 核心在 MXNet 中启用 FP16 训练。
最近,我们宣布推出一套新的 AWS 深度学习 AMI,它们预安装了针对 Amazon EC2 P3 实例系列中的 NVIDIA Volta V100 GPU 优化的各种深度学习框架,包括 MXNet v0.12。只需在 AWS Marketplace 中单击一下鼠标就能开始;或者,按照此分步指南操作,开始使用您的第一个笔记本。
Sparse Tensor 支持
MXNet v0.12 增加了对 Sparse Tensor 的支持,可以高效地存储和计算张量,使得开发人员能够以具有高存储效率和计算效率的方式执行稀疏矩阵运算并更快地训练深度学习模型。此版本支持两大稀疏数据格式:压缩稀疏行 (CSR) 和行稀疏 (RSP)。CSR 格式经过优化,可表示包含大量列而每行仅包含几个非零元素的矩阵。RSP 格式经过优化,可表示包含大量行而大部分行切片都完全由零元素构成的矩阵。对于大多数常用的运算符 (例如,矩阵点积和元素级运算符),此版本在 CPU 上启用稀疏支持。未来版本中将增加对更多运算符的稀疏支持。
如需了解如何使用 MXNet 中的新稀疏运算符,请参阅以下教程。