SageMaker presenta una versión preliminar de las instancias ml.p4de para la implementación de modelos

Las instancias ml.p4de.24xlarge tienen 80 GB de memoria por GPU (640 GB en total) y admiten hasta 8 TB de almacenamiento SSD NVMe local. Al permitir inferir, mediante machine learning de alto rendimiento, cargas de trabajo con uso intensivo de cómputo en SageMaker, por ejemplo grandes modelos de lenguajes y modelos de IA generativa. Estas instancias tienen 96 CPU virtuales, 1152 GIB de memoria de instancias y 400 Gbps de ancho de banda de la red. 

Puede usar instancias ml.P4de en las regiones Este de EE. UU. (Norte de Virginia) y Oeste de EE. UU. (Oregón). 

Para acceder a la versión preliminar, solo tiene que solicitar un aumento del límite a través de AWS Service Quotas. Para obtener información sobre estas instancias, consulte nuestra página de precios. Si quiere obtener más información sobre los modelos de implementación con SageMaker, consulte la descripción general aquí y la documentación aquí. Visite la página del producto P4 para obtener más información sobre las instancias P4de en general.