Publicado: Aug 13, 2021
O AWS Neuron, o SDK para executar inferência de machine learning máquina em instâncias Inf1 do Amazon EC2 baseadas no AWS Inferentia, agora oferece suporte ao TensorFlow 2. A partir do Neuron 1.15.0, você pode executar seus modelos baseados no TensorFlow 2 BERT em instâncias Inf1, com suporte para modelos adicionais em breve. Para saber mais sobre o suporte ao Neuron TensorFlow 2, acesse nossa página de perguntas frequentes sobre o TensorFlow 2.
Também atualizamos nossos recursos com uma nova documentação, incluindo um tutorial que ajuda você a começar a usar o TensorFlow 2, um tutorial que orientará pelo processo de implantar um contêiner-modelo HuggingFace BERT no Inferentia usando a hospedagem do AWS Sagemaker, a página de performance de inferência para ajudar você a comparar e replicar nossos resultados e uma nota de nova aplicação para ajudar você a descobrir os tipos de arquiteturas de aprendizado profundo que terão boa performance no Inferentia.
O AWS Neuron é nativamente integrado a frameworks de ML populares, como TensorFlow, PyTorch e Apache MXNet. Ele inclui um compilador de aprendizado profundo, tempo de execução e ferramentas que ajudam você a extrair a melhor performance para suas aplicações. Para saber mais, acesse a página do AWS Neuron e a documentação do AWS Neuron.
As instâncias Inf1 do Amazon EC2 oferecem o menor custo de inferência de aprendizado profundo na nuvem e estão disponíveis em 23 regiões, entre elas: Leste dos EUA (Norte da Virgínia, Ohio), Oeste dos EUA (Oregon, Norte da Califórnia), AWS GovCloud (Leste dos EUA, Oeste dos EUA), Canadá (Central), Europa (Frankfurt, Irlanda, Londres, Milão, Paris, Estocolmo), Ásia-Pacífico (Hong Kong, Mumbai, Seul, Singapura, Sydney, Tóquio), Oriente Médio (Bahrein), América do Sul (São Paulo) e China (Pequim, Ningxia). Você pode aproveitar as instâncias Inf1 do Amazon EC2 na região que melhor atenderá aos seus requisitos de latência em tempo real para inferência de machine learning. Para saber mais visite a página da instância Inf1 do Amazon EC2.