Publié le: Oct 17, 2023
Nous avons le plaisir d'annoncer la version préliminaire des instances ml.p5.48xlarge pour le déploiement de modèles de machine learning (ML) pour une inférence asynchrone et en temps réel sur Amazon SageMaker.
Avec 80 Go de mémoire par GPU NVIDIA H100 Tensor Core (640 Go au total), 30 To de stockage SSD NVMe local, 192 vCPU et 2 TiB de mémoire d'instance, les instances ml.p5.48xlarge sont conçues pour permettre une inférence de machine learning de haute performance sur les charges de travail d'IA intensives telles que la réponse aux questions, la génération de code, la génération de vidéos et d'images et la reconnaissance vocale.
Les instances ml.p5.48xlarge peuvent désormais être utilisées sur SageMaker dans les régions suivantes : USA Est (Virginie du Nord) et USA Ouest (Oregon).
Pour accéder à la version préliminaire, il vous suffit de demander une augmentation de limite via AWS Service Quotas. Pour en savoir plus sur la tarification de ces instances, consultez notre page de tarification. Pour plus d'informations sur le déploiement de modèles avec SageMaker, consultez la présentation ici et la documentation ici. Pour en savoir plus sur les instances P5 en général, rendez-vous sur la page produit P5.