Publicado: Nov 29, 2022
Hoje, a AWS anuncia a demonstração das instâncias Inf2 do Amazon Elastic Compute Cloud (Amazon EC2), projetadas para oferecer alta performance com o máximo de economia no Amazon EC2 para as mais exigentes aplicações de inferência de aprendizado profundo (DL). As instâncias Inf2 são baseadas em até 12 AWS Inferentia2, o terceiro acelerador de DL projetado pela AWS. As instâncias Inf2 oferecem performance de computação até três vezes maior, throughput até quatro vezes maior e latência até dez vezes menor em comparação com instâncias Inf1.
Você pode usar instâncias Inf2 para executar aplicações de aprendizado profundo (DL) para compreensão de linguagem natural, traduções, geração de vídeos e imagens, reconhecimento de fala, personalização e muito mais. Essas instâncias são otimizadas para implantar modelos complexos (como grades modelos de idiomas (LLM) e transformadores de visão) em grande escala e aprimoram os benefícios da relação preço/performance das instâncias Inf1 para modelos menores. As instâncias Inf2 são as primeiras instâncias otimizadas para inferência no Amazon EC2 a oferecer suporte para inferência distribuída em escala horizontal com conectividade de velocidade ultra-alta entre os aceleradores. Com esses recursos, elas permitem modelos ultragrandes com mais de 100 bilhões de parâmetros.
As instâncias Inf2 oferecem até 2,3 petaflops de performance de DL, até 384 GB de memória de acelerador com largura de banda de 9,8 TB/s e o NeuronLink, uma interconexão não bloqueadora de velocidade ultra-alta. Além disso, as instâncias Inf2 oferecem um ganho de performance de até 50% por watt em relação às instâncias baseadas em GPU do Amazon EC2 e ajudam a alcançar metas de sustentabilidade. O SDK do AWS Neuron é integrado nativamente a frameworks populares de ML, como PyTorch e TensorFlow, o que permite implantar aplicações de DL em instâncias Inf2 com apenas algumas linhas de código.
Para saber mais e se inscrever em uma demonstração das instâncias Inf2, consulte a página de detalhes de produto da Inf2.