張貼日期: Nov 1, 2017
Apache MXNet 0.12 版現今推出兩項重要的新功能:NVIDIA Volta GPU 的支援功能與 Sparse Tensors 的支援功能。
NVIDIA Volta GPU 架構支援
MXNet 0.12 版新增了 NVIDIA Volta V100 GPU 的支援功能,比起使用 Pascal GPU,這能讓客戶訓練出速度快上 3.5 倍的卷積神經網路。Volta GPU 架構引進 Tensor Core,可實現混合精度訓練功能。運用 Tensor Core 的混合精度功能,使用者可以實現最理想的訓練效能,而不會發生大多數網路層使用 FP16 時精確度降低的情況,而且需要時才會使用更高精度的資料類型。您可以善用 Volta Tensor Core 的優點,透過傳送簡單的指令在 MXNet 中進行 FP16 訓練。
我們近來發佈了一套新的 AWS 深度學習 AMI,它在新的 Amazon EC2 P3 執行個體系列中,預先安裝針對 NVIDIA Volta V100 GPU 最佳化的深度學習架構,包括 MXNet 0.12 版在內。您可以在 AWS Marketplace 中按一下,或者遵循逐步操作指南,即可開始使用您的第一個筆記本。
Sparse Tensor 支援
MXNet 0.12 版新增了對 Sparse Tensor 的支援功能,能有效率地儲存和運算 Tenor,讓開發人員以具備儲存和運算效率的方式來進行稀疏矩陣操作,並更快速地訓練深度學習模型。此版本支援兩種主要的稀疏資料格式 – 壓縮稀疏行 (CSR) 與稀疏行 (RSP)。CSR 格式經過最佳化,能代表具有大量欄位的矩陣,其中每一行只包含幾個非零元素。RSP 格式經過最佳化,能代表具有大量行數的矩陣,其中大多數的行切分完全為 0。此版本針對大多數常用的運算子 (例如矩陣點積和逐元素運算子),提供了 CPU 的稀疏支援功能。在未來的版本中,將會新增對更多運算子的稀疏支援功能。
請遵循這些教學課程,了解如何在 MXNet 中使用新的稀疏運算子。