Amazon SageMaker Neo

Treine modelos uma vez e execute-os em qualquer lugar com um ganho de performance de até duas vezes

O Amazon SageMaker Neo permite que os desenvolvedores treinem modelos de Machine Learning uma vez e executem-nos em qualquer lugar na nuvem e na borda. O Amazon SageMaker Neo otimiza os modelos para serem executados até duas vezes mais rápido, com menos de um décimo do consumo de memória, sem perda de precisão.

Os desenvolvedores gastam muito tempo e esforço para fornecer modelos precisos de Machine Learning que podem gerar previsões rápidas e de baixa latência em tempo real. Isso é particularmente importante para dispositivos de borda em que a memória e o poder de processamento tendem a ser altamente restritos, mas a latência é muito importante. Por exemplo, os sensores em veículos autônomos geralmente precisam processar dados em um milésimo de segundo para serem úteis, por isso, acessar a nuvem não é possível. Além disso, há uma grande variedade de diferentes plataformas de hardware e arquiteturas de processadores para dispositivos de borda. Para obter alta performance, os desenvolvedores precisam passar semanas ou meses ajustando seu modelo para cada uma. Além disso, o processo de ajuste complexo faz com que os modelos raramente sejam atualizados após serem implantados na borda. Os desenvolvedores perdem a oportunidade de treinar novamente e aperfeiçoar modelos com base nos dados coletados pelos dispositivos de borda.

O Amazon SageMaker Neo otimiza automaticamente os modelos de Machine Learning para executar até o dobro da velocidade sem perder a precisão. Você começa com um modelo de Machine Learning criado usando MXNet, TensorFlow, PyTorch ou XGBoost e treinado usando o Amazon SageMaker. Depois, você escolhe sua plataforma de hardware de destino: Intel, Nvidia ou Arm. Com um único clique, o SageMaker Neo compilará o modelo treinado em um executável. O compilador usa uma rede neural para descobrir e aplicar todas as otimizações de performance específicas que farão com que seu modelo seja executado com mais eficiência na plataforma de hardware de destino. Então o modelo pode ser implantado para começar a fazer previsões na nuvem ou na borda. Recursos locais de computação e inferência de ML podem ser levados para a borda com o AWS IoT Greengrass. Para ajudar a facilitar as implantações na borda, o AWS IoT Greengrass oferece suporte aos modelos otimizados para Neo, permitindo que você implante modelos diretamente na borda usando atualizações remotas.

O Neo usa o Apache TVM e outros compiladores e bibliotecas de kernel fornecidos por terceiros. O Neo está disponível como código aberto com o nome de projeto Neo-AI sob a Licença de software Apache, permitindo que os desenvolvedores personalizem o software para diferentes dispositivos e aplicativos.

Benefícios

Execute modelos de ML com performance até 2 vezes melhor

O Amazon SageMaker Neo otimiza automaticamente os modelos de Machine Learning TensorFlow, MXNet, PyTorch e XGBoost para executar até o dobro da velocidade sem perder a precisão. Utilizando o aprendizado profundo, o SageMaker Neo descobre e aplica otimizações de código para o seu modelo específico e para o hardware no qual você pretende implantar o modelo. Você obtém os benefícios de performance do ajuste manual sem gastar semanas de esforço.



Reduza o tamanho da estrutura em 10 vezes

O Amazon SageMaker Neo reduz o conjunto de operações de software na estrutura do seu modelo para apenas as operações necessárias a fim de fazer previsões. Normalmente, isso gera uma redução de 10 vezes na quantidade de memória exigida pela estrutura. O modelo e a estrutura são então compilados em um único executável que pode ser implantado na produção para fazer previsões rápidas e de baixa latência. 

Execute o mesmo modelo de ML em várias plataformas de hardware

O Amazon SageMaker Neo permite treinar seu modelo uma vez e executá-lo praticamente em qualquer lugar com um único executável. O Neo sabe como otimizar automaticamente seu modelo para as arquiteturas de processadores Intel, Nvidia, Arm, Cadence, Qualcomm e Xilinx. Assim, bastam alguns cliques no console do Amazon SageMaker para preparar o seu modelo para várias plataformas. 

Como funciona

Product-Page-Diagram_Neo-How-it-Works

Principais recursos

Use a estrutura de aprendizado profundo de sua preferência

O Amazon SageMaker Neo converte as funções e as operações específicas da estrutura do TensorFlow, do MXNet e do PyTorch em um único executável compilado que pode ser executado em qualquer lugar. O Neo compila e gera automaticamente o código de software necessário.

Operações de software fáceis e eficientes

O Amazon SageMaker Neo gera um executável que é implantado em instâncias de nuvem e dispositivos de borda. O tempo de execução do Neo reduz o uso de recursos, como o armazenamento nas plataformas de distribuição, em 10 vezes e elimina a dependência de estruturas. Como exemplo, o tempo de execução do Neo ocupa 2,5 MB de armazenamento em comparação com as implantações dependentes de estrutura que podem ocupar até 1 GB de armazenamento.

Software de código aberto

O Neo também está disponível com o nome de projeto Neo-AI sob a Licença de software Apache. Isso permite que os desenvolvedores e os fornecedores de hardware personalizem aplicativos e plataformas de hardware e aproveitem a otimização e as técnicas de uso reduzido de recursos do Neo. 

Alto desempenho e inferência de baixo custo com Inf1

Com o Amazon SageMaker Neo, você pode compilar seus modelos de machine learning treinados para executar de maneira ideal nas instâncias Inf1 e implantar facilmente os modelos compilados nas instâncias Inf1 para inferência em tempo real. As instâncias Inf1 do Amazon EC2, com base no chip AWS Inferentia, oferece alto desempenho e inferência de machine learning de baixo custo na nuvem.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Confira os recursos do Amazon SageMaker Neo

Consulte a documentação para obter instruções sobre como usar o Amazon SageMaker Neo.

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Cadastre-se para obter uma conta gratuita

Obtenha acesso instantâneo ao nível gratuito da AWS. 

Cadastre-se 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comece a criar no console

Comece a criar com o Amazon SageMaker Neo no Console de Gerenciamento da AWS.

Faça login