Publicado: Nov 1, 2017
O Apache MXNet versão 0.12 já está disponível com dois novos recursos importantes: suporte para GPUs NVIDIA Volta e suporte para Sparse Tensors.
Suporte para arquitetura de GPUs NVIDIA Volta
A versão do MXNet v0.12 adiciona suporte para GPUs NVIDIA Volta V100, o que permite aos clientes treinar redes neurais convolucionais até 3,5 vezes mais rapidamente do que nas GPUs Pascal. A arquitetura da GPU Volta apresenta Tensor Cores, que permitem um treinamento de precisão mista. Com precisão mista de Tensor Cores, os usuários podem atingir um desempenho ideal no treinamento sem sacrificar a precisão usando FP16 na maioria das camadas de uma rede, além de tipos de dados com precisão mais alta somente quando necessário. Você pode aproveitar os Volta Tensor Cores para permitir o treinamento FP16 em MXNet passando um comando simples.
Anunciamos recentemente um novo conjunto de AMIs AWS Deep Learning, que vêm pré-instaladas com diversas estruturas de aprendizado avançado, incluindo o MXNet v0.12, otimizadas para GPUs NVIDIA Volta V100 na família de instâncias Amazon EC2 P3. Você pode começar com apenas um clique no AWS Marketplace ou seguir este guia passo a passo para começar a usar seu primeiro notebook.
Suporte a Sparse Tensor
O MXNet v0.12 agrega suporte para Sparse Tensors a fim de armazenar e computar tensores que permitam a desenvolvedores realizar operações em matrizes avulsas de maneira eficiente no armazenamento e na computação, além de treinar modelos de aprendizado avançado mais rapidamente. Essa versão dá suporte a dois formatos de dados avulsos: Compressed Sparse Row (CSR – Linha avulsa comprimida) e Row Sparse (RSP – Linha avulsa). O formato CSR foi otimizado para representar matrizes com um grande número de colunas em que cada linha tenha apenas alguns elementos diferentes de zero. O formato RSP foi otimizado para representar matrizes com um enorme número de linhas em que cada uma seja formada totalmente por zeros. Essa versão permite um suporte avulso na CPU para os operadores mais usados, como produto escalar da matriz e reconhecimento de elementos. O suporte avulso para mais operadores será adicionado em versões futuras.
Siga estes tutoriais para saber como usar os novos operadores avulsos em MXNet.