Amazon SageMaker Neo

Treine modelos uma vez e execute-os em qualquer lugar com um ganho de performance de até duas vezes

O Amazon SageMaker Neo permite que os desenvolvedores treinem modelos de Machine Learning uma vez e executem-nos em qualquer lugar na nuvem e na borda. O Amazon SageMaker Neo otimiza os modelos para serem executados até duas vezes mais rápido, com menos de um décimo do consumo de memória, sem perda de precisão.

Os desenvolvedores gastam muito tempo e esforço para fornecer modelos precisos de Machine Learning que podem gerar previsões rápidas e de baixa latência em tempo real. Isso é particularmente importante para dispositivos de borda em que a memória e o poder de processamento tendem a ser altamente restritos, mas a latência é muito importante. Por exemplo, os sensores em veículos autônomos geralmente precisam processar dados em um milésimo de segundo para serem úteis, por isso, acessar a nuvem não é possível. Além disso, há uma grande variedade de diferentes plataformas de hardware e arquiteturas de processadores para dispositivos de borda. Para obter alta performance, os desenvolvedores precisam passar semanas ou meses ajustando seu modelo para cada uma. Além disso, o processo de ajuste complexo faz com que os modelos raramente sejam atualizados após serem implantados na borda. Os desenvolvedores perdem a oportunidade de treinar novamente e aperfeiçoar modelos com base nos dados coletados pelos dispositivos de borda.

O Amazon SageMaker Neo otimiza automaticamente os modelos de Machine Learning para executar até o dobro da velocidade sem perder a precisão. Você começa com um modelo de Machine Learning criado usando MXNet, TensorFlow, PyTorch ou XGBoost e treinado usando o Amazon SageMaker. Depois, você escolhe sua plataforma de hardware de destino: Intel, Nvidia ou Arm. Com um único clique, o SageMaker Neo compilará o modelo treinado em um executável. O compilador usa uma rede neural para descobrir e aplicar todas as otimizações de performance específicas que farão com que seu modelo seja executado com mais eficiência na plataforma de hardware de destino. O modelo pode então ser implantado para começar a fazer previsões na nuvem ou na borda. Os recursos de computação local e de inferência de ML podem ser levados para a borda com o AWS Greengrass. Para ajudar a tornar as implantações de borda mais fáceis, o AWS Greengrass oferece suporte aos modelos otimizados do Neo para que você possa implantar seus modelos diretamente na borda com as atualizações remotas.

O Neo usa o Apache TVM e outros compiladores e bibliotecas de kernel fornecidos por terceiros. O Neo está disponível como código aberto com o nome de projeto Neo-AI sob a Licença de software Apache, permitindo que os desenvolvedores personalizem o software para diferentes dispositivos e aplicativos.

Benefícios

Execute modelos de ML com performance até 2 vezes melhor

O Amazon SageMaker Neo otimiza automaticamente os modelos de Machine Learning TensorFlow, MXNet, PyTorch e XGBoost para executar até o dobro da velocidade sem perder a precisão. Utilizando o aprendizado profundo, o SageMaker Neo descobre e aplica otimizações de código para o seu modelo específico e para o hardware no qual você pretende implantar o modelo. Você obtém os benefícios de performance do ajuste manual sem gastar semanas de esforço.



Reduza o tamanho da estrutura em 10 vezes

O Amazon SageMaker Neo reduz o conjunto de operações de software na estrutura do seu modelo para apenas as operações necessárias a fim de fazer previsões. Normalmente, isso gera uma redução de 10 vezes na quantidade de memória exigida pela estrutura. O modelo e a estrutura são então compilados em um único executável que pode ser implantado na produção para fazer previsões rápidas e de baixa latência. 

Execute o mesmo modelo de ML em várias plataformas de hardware

O Amazon SageMaker Neo permite treinar seu modelo uma vez e executá-lo praticamente em qualquer lugar com um único executável. O Neo sabe como otimizar automaticamente seu modelo para as arquiteturas de processadores Intel, Nvidia, Arm, Cadence, Qualcomm e Xilinx. Assim, bastam alguns cliques no console do Amazon SageMaker para preparar o seu modelo para várias plataformas. 

Como funciona

Product-Page-Diagram_Neo-How-it-Works

Principais recursos

Use a estrutura de aprendizado profundo de sua preferência

O Amazon SageMaker Neo converte as funções e as operações específicas da estrutura do TensorFlow, do MXNet e do PyTorch em um único executável compilado que pode ser executado em qualquer lugar. O Neo compila e gera automaticamente o código de software necessário.

Operações de software fáceis e eficientes

O Amazon SageMaker Neo gera um executável que é implantado em instâncias de nuvem e dispositivos de borda. O tempo de execução do Neo reduz o uso de recursos, como o armazenamento nas plataformas de distribuição, em 10 vezes e elimina a dependência de estruturas. Como exemplo, o tempo de execução do Neo ocupa 2,5 MB de armazenamento em comparação com as implantações dependentes de estrutura que podem ocupar até 1 GB de armazenamento.

Software de código aberto

O Neo também está disponível com o nome de projeto Neo-AI sob a Licença de software Apache. Isso permite que os desenvolvedores e os fornecedores de hardware personalizem aplicativos e plataformas de hardware e aproveitem a otimização e as técnicas de uso reduzido de recursos do Neo.  

Product-Page_Standard-Icons_01_Product-Features_SqInk
Confira os recursos do Amazon SageMaker Neo

Consulte a documentação para obter instruções sobre como usar o Amazon SageMaker Neo.

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Cadastre-se para obter uma conta gratuita

Obtenha acesso instantâneo ao nível gratuito da AWS. 

Cadastrar-se 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comece a criar no console

Comece a criar com o Amazon SageMaker Neo no Console de Gerenciamento da AWS.

Faça login