NVIDIA Nemotron 3 Nano agora disponível no Amazon Bedrock
O Amazon Bedrock agora oferece suporte ao modelo NVIDIA Nemotron 3 Nano 30B A3B, a mais recente inovação da NVIDIA em modelagem de linguagem eficiente que oferece alta performance de raciocínio, suporte nativo para chamadas de ferramentas e processamento de contexto estendido com janela de contexto de 256 mil tokens. Esse modelo emprega uma arquitetura híbrida eficiente de mistura de especialistas (MoE) para garantir maior throughput do que seus antecessores para workloads de codificação e agentes, mantendo a profundidade de raciocínio de um modelo maior. Com controles de raciocínio explícito e maior precisão possibilitada por técnicas avançadas de aprendizado por reforço e pós-treinamento de vários ambientes em grande escala, esse modelo é ideal para empresas, startups e desenvolvedores individuais que criam fluxos de trabalho multiagentes, ferramentas de produtividade para desenvolvedores, automação de processos e análise de raciocínio científico e matemático, entre outros.
O NVIDIA Nemotron 3 Nano no Amazon Bedrock é desenvolvido pelo Project Mantle, um novo mecanismo de inferência distribuída para um modelo de machine learning em grande escala que funciona no Amazon Bedrock. O Project Mantle simplifica e agiliza a integração de novos modelos no Amazon Bedrock, fornece inferência sem servidor confiável e de alta performance com controles sofisticados de qualidade de serviço, libera cotas padrão mais altas de clientes com gerenciamento automatizado de capacidade e pools unificados e oferece compatibilidade imediata com as especificações da API da OpenAI.
O NVIDIA Nemotron 3 Nano está disponível hoje no Amazon Bedrock nas regiões da AWS Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Mumbai), América do Sul (São Paulo), Europa (Londres) e Europa (Milão), e oferece suporte a endpoints de serviço unificados e compatíveis com a API da OpenAI no Amazon Bedrock. Para saber mais e começar a usá-lo, acesse o console do Amazon Bedrock ou a documentação do serviço aqui. Para começar a usar os endpoints de serviço compatíveis com a API da OpenAI no Amazon Bedrock, acesse a documentação aqui.