Amazon SageMaker HyperPod ahora admite la configuración del ciclo de vida de los nodos basada en AMI para los clústeres de Slurm
Amazon SageMaker HyperPod ahora admite la configuración basada en AMI que aprovisiona los nodos del clúster de Slurm con el software y las configuraciones necesarias para que un entorno preparado para la producción ejecute cargas de trabajo de entrenamiento de IA/ML. Esto elimina la necesidad de descargar, configurar o cargar los scripts de configuración del ciclo de vida en Amazon S3. Con menos pasos operativos para preparar un clúster y sin que se ejecuten scripts de configuración del ciclo de vida durante el aprovisionamiento de nodos, el tiempo de creación del clúster se reduce considerablemente, por lo que puede empezar a ejecutar los trabajos antes.
La configuración basada en AMI incluye el software necesario, como Docker, Enroot y Pyxis, y configuraciones como la contabilidad de Slurm, la generación de claves SSH, la rotación de registros de Slurm y la configuración del directorio principal del usuario. Para habilitar la configuración basada en la AMI, omita el bloque LifecycleConfig de la configuración del grupo de instancias al crear clústeres con la API CreateCluster o, si utiliza la consola de SageMaker AI, seleccione “Ninguno” en los scripts del ciclo de vida en la configuración personalizada. Para lograr una personalización adicional además de la referencia de configuración basada en AMI, se puede proporcionar un script de extensión que le permita centrarse únicamente en las capacidades y el software que debe agregar, como la configuración del usuario, la observabilidad o la integración de LDAP.
Los scripts de extensión se pueden configurar al crear clústeres mediante la API y la consola de SageMaker AI. Con la API CreateCluster, especifique SourceS3Uri y el nuevo parámetro OnInitComplete en el bloque LifecycleConfig. Desde la consola, proporcione el URI de S3 al script de extensión en el campo “Extension script file in S3” (Archivo de script de extensión en S3) de la Configuración personalizada. En los casos de uso avanzados que requieren un control total sobre el aprovisionamiento, los scripts de configuración del ciclo de vida personalizados siguen siendo totalmente compatibles tanto en la API como en la consola de IA de SageMaker.
Esta característica está disponible en todas las regiones de AWS en las que SageMaker HyperPod está disponible. Para empezar a crear clústeres de HyperPod Slurm con una configuración del ciclo de vida de los nodos basada en AMI, consulte Introducción a SageMaker HyperPod mediante la CLI de AWS o Introducción a SageMaker HyperPod mediante la consola SageMaker de AI en la guía para desarrolladores de SageMaker AI.