Amazon SageMaker HyperPod ahora admite instancias de spot
Amazon SageMaker HyperPod ahora admite instancias de spot, lo que permite a los clientes reducir los costos de procesamiento de la GPU hasta en un 90 % en comparación con las instancias bajo demanda de HyperPod. A medida que las cargas de trabajo de IA escalan, la optimización de los costos de infraestructura se vuelve cada vez más crítica. La integración Spot de SageMaker HyperPod soluciona este problema al permitir a los clientes aprovechar automáticamente la capacidad sobrante de EC2 con importantes descuentos y, al mismo tiempo, ofrecer la experiencia de IA administrada que los clientes disfrutan en HyperPod.
Con las instancias de spot, las organizaciones pueden ejecutar cargas de trabajo tolerantes a errores de forma rentable y a escala. Puede combinar instancias de spot con instancias bajo demanda para equilibrar la optimización de costos con la disponibilidad garantizada. La característica está disponible en los clústeres EKS de HyperPod y se integra con Karpenter para lograr un escalado automático inteligente, descubrir automáticamente la capacidad de spot disponible y gestionar las interrupciones de las instancias.
Puede habilitar las instancias de spot al crear grupos de instancias a través de la API CreateCluster o la consola de AWS. La característica es compatible con todos los tipos de instancias disponibles en HyperPod, incluidas las CPU y las GPU. La disponibilidad de la capacidad depende del suministro de EC2 y varía según la región y el tipo de instancia. La compatibilidad con instancias de spot está disponible en todas las regiones en las que SageMaker HyperPod está disponible actualmente. Para obtener más información, consulte la documentación.