Publicado: Jun 26, 2023
A partir de hoje, você pode escolher o Inferentia 2 e o Trainium 1 como destinos adicionais na compilação de modelos PyTorch e TensorFlow para o Amazon SageMaker Neo, um recurso do Amazon SageMaker que permite que os clientes otimizem modelos de machine learning (ML) para inferências do SageMaker mais rápidas e sem perda de precisão. As instâncias Inf2 do Amazon Elastic Compute Cloud (Amazon EC2) oferecem alta performance com o menor custo para modelos de inteligência artificial (IA) generativa, incluindo grandes modelos de linguagem (LLMs) e transformadores de visão. O AWS Trainium é um acelerador de machine learning (ML) criado pela AWS especificamente para treinamento de aprendizado profundo de mais de 100 bilhões de modelos de parâmetros.
As instâncias Inferentia 2 estão disponíveis na região us-east-2 e as instâncias Trainium 1 estão disponíveis na região us-east-1. Para começar a usar rapidamente, basta selecionar ml_inf2 ou ml_trn1 como o dispositivo de destino no console. Se você usa um SDK para compilar modelos usando o Neo, defina o campo TargetDevice na configuração de saída como ml_inf2 ou ml_trn1. As estruturas com suporte são PyTorch 1.13 e TensorFlow 2.10. Saiba mais sobre isso aqui.
Para saber mais sobre o AWS SageMaker Neo e a experiência do console, consulte a documentação aqui. Para iniciar, faça login no console do Amazon SageMaker.