SageMaker annonce une version préliminaire des instances ml.p4de pour le déploiement de modèles

Les instances ml.p4de.24xlarge disposent de 80 Go de mémoire par GPU (640 Go au total) et prennent en charge jusqu'à 8 To de stockage SSD NVMe local. Cela permet une inférence haute performance de machine learning des charges de travail intensives sur SageMaker, telles que des modèles linguistiques volumineux et des modèles d'IA génératifs. Ces instances disposent de 96 vCPU, de 1 152 Go de mémoire d'instance et de 400 Gbit/s de bande passante du réseau. 

Vous pouvez utiliser des instances ml.p4de dans les zones USA Est (Virginie du Nord) et USA Ouest (Oregon). 

Pour accéder à la version préliminaire, il vous suffit de demander une augmentation de la limite via AWS Service Quotas. Pour en savoir plus sur la tarification de ces instances, consultez notre page de tarification. Pour plus d'informations sur le déploiement de modèles avec SageMaker, consultez la présentation ici et la documentation ici. Pour en savoir plus sur les instances P4de en général, rendez-vous sur la page produit P4.