AWS Batch ahora admite la programación en grupo en Amazon EKS mediante trabajos paralelos de varios nodos
Hoy, AWS anuncia la disponibilidad general de trabajos paralelos de varios nodos (MNP) en AWS Batch en Amazon Elastic Kubernetes Service (Amazon EKS). Con los trabajos MNP de AWS Batch, puede ejecutar aplicaciones de computación de alto rendimiento (HPC) estrechamente acopladas, como el entrenamiento de modelos de inteligencia artificial/machine learning (AI/ML) de varias capas. AWS Batch le ayuda a lanzar, configurar y administrar nodos en su clúster de Amazon EKS sin intervención manual.
Puede configurar los trabajos MNP mediante la API RegisterJobsDefinition o mediante las secciones de definiciones de trabajos de la consola de administración de AWS Batch. Con los trabajos MNP, puede ejecutar AWS Batch en cargas de trabajo de Amazon EKS que abarcan varias instancias de Amazon Elastic Compute Cloud (Amazon EC2). Los trabajos MNP de AWS Batch admiten cualquier marco de comunicación entre instancias basado en IP, como Collective Communications Library (NCCL), Gloo, Message Passing Interface (MPI), o Unified Collective Communication (UCC) de NVIDIA, así como bibliotecas de machine learning y computación paralela, como PyTorch y Dask. Para obtener más información, consulte la página de trabajos paralelos de varios nodos en la Guía del usuario de AWS Batch.
AWS Batch ayuda a los desarrolladores, científicos e ingenieros a ejecutar un procesamiento por lotes eficiente para el entrenamiento, las simulaciones y el análisis de modelos de ML a cualquier escala. Los trabajos paralelos de varios nodos están disponibles en cualquier región de AWS en la que está disponible AWS Batch.