Publicado: Oct 17, 2023
Temos o prazer de anunciar a demonstração das instâncias ml.p5.48xlarge para implantação de modelos de machine learning (ML) para inferência assíncrona e em tempo real no Amazon SageMaker.
Com 80 GB de memória por GPU NVIDIA H100 Tensor Core (640 GB no total), 30 TB de armazenamento SSD NVMe local, 192 vCPUs e 2 TiB de memória de instância, as instâncias ml.p5.48xlarge foram criadas para permitir inferência de machine learning de alta performance em workloads de IA com uso intensivo de computação, como resposta a perguntas, geração de código, geração de vídeo e imagem, e reconhecimento de fala.
As instâncias ml.p5.48xlarge já estão disponíveis para uso no SageMaker nas regiões Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon).
Para obter acesso à demonstração, basta solicitar um aumento de limite usando o AWS Service Quotas. Para obter informações sobre os preços dessas instâncias, acesse a página de preços. Para obter mais informações sobre a implantação de modelos com o SageMaker, consulte a visão geral e a documentação. Para saber mais sobre as instâncias P5 em geral, acesse a página de produto das instâncias P5.