Veröffentlicht am: Nov 1, 2017
Apache MXNet-Version 0.12 ist jetzt mit zwei wichtigen Funktionen verfügbar: Unterstützung für NVIDIA Volta-GPUs und Sparse Tensors.
Unterstützung für die NVIDIA Volta-GPU-Architektur
In der MXNet-Veröffentlichung v0.12 wird Unterstützung für NVIDIA Volta V100-GPUs hinzugefügt. Dadurch können Kunden neurale Faltungsnetzwerke bis zu 3,5-mal schneller als bei Pascal-GPUs trainieren. Mit der Volta-GPU-Architektur werden Tensor Cores eingeführt, die eine gemischtes Präzisionsschulung ermöglichen. Mit gemischtem Präzisionstraining von Tensor Cores können Benutzer optimale Schulungsleistung ohne Genauigkeitsverlust erreichen, indem bei den meisten Netzwerkebenen FP16 verwendet wird und höhere Präzisionsdatentypen nur bei Bedarf eingesetzt werden. Sie können Volta Tensor Cores nutzen, um FP16-Schulung in MXNet zu ermöglichen, indem Sie einen einfachen Befehl übergeben.
Aktuell haben wir eine neue Reihe von AWS Deep Learning-AMIs bekanntgegeben, die in verschiedenen Deep-Learning-Frameworks, einschließlich MXNet v0.12, vorinstalliert sind, die für die NVIDIA Volta V100-GPUs in der neuen Amazon EC2 P3-Instance-Familie optimiert sind. Sie können mit nur einem Mausklick vom AWS Marketplace aus starten oder dieser schrittweisen Anleitung folgen, um erste Schritte mit Ihrem ersten Notebook zu unternehmen.
Sparse Tensor-Unterstützung
In MXNet v0.12 wird Unterstützung für Sparse Tensors hinzugefügt, um Tensors effizient zu speichern und zu berechnen, sodass Entwickler Sparse-Matrix-Operationen auf speicher- und datenverarbeitungseffiziente Weise durchführen und Deep-Learning-Module schneller trainieren können. In dieser Veröffentlichung werden zwei Hauptformate für Sparse-Daten unterstützt: Compressed Sparse Row (CSR) und Row Sparse (RSP). Das CSR-Format ist auf die Darstellung von Metriken mit einer großen Anzahl an Spalten mit nur wenigen Zeilen mit Elementen ungleich null optimiert. Das RSP-Format ist auf die Darstellung von Metriken mit einer großen Anzahl an Zeilen optimiert, deren Zeilenbereiche größtenteils mit nullen gefüllt sind. Diese Veröffentlichung ermöglicht Sparse-Unterstützung auf der CPU für die am häufigsten verwendeten Operatoren, wie Matrix-Dot-Produkt- und Element-Wise-Operatoren. Sparse-Unterstützung wird in künftigen Veröffentlichungen für weitere Operatoren hinzugefügt.
Befolgen Sie diese Anleitungen, um mehr über die Verwendung der neuen Sparse-Operatoren in MXNet zu erfahren.