Batch AWS supporta ora il gang scheduling su Amazon EKS utilizzando processi paralleli multinodo.
AWS annuncia di aver reso disponibile al pubblico generale i processi Multi-Node Parallel (MNP) in Batch AWS su Amazon Elastic Kubernetes Service (Amazon EKS). Con i processi MNP di Batch AWS puoi eseguire applicazioni di calcolo ad alte prestazioni (HPC) strettamente correlate come l'addestramento di modelli AI/ML multilivello. Batch AWS ti aiuta ad avviare, configurare e gestire i nodi nel tuo cluster Amazon EKS senza interventi manuali.
Puoi configurare i processi MNP tramite l'API RegisterJobsDefinition o tramite le sezioni relative alle definizioni dei processi della Console di gestione di Batch AWS. Con i processi MNP puoi eseguire Batch AWS su carichi di lavoro Amazon EKS che si estendono su più istanze Amazon Elastic Compute Cloud (Amazon EC2). I processi MNP di Batch AWS supportano qualsiasi framework di comunicazione tra istanze basato su IP, come NVIDIA Collective Communications Library (NCCL), Gloo, Message Passing Interface (MPI) o Unified Collective Communication (UCC), nonché librerie di machine learning e calcolo parallelo come PyTorch e Dask. Per ulteriori informazioni, consulta la pagina dei processi paralleli a più nodi nella Guida per l'utente di Batch AWS.
Batch AWS supporta sviluppatori, data scientist e ingegneri nell'esecuzione di un'elaborazione batch efficiente per l'addestramento, le simulazioni e l'analisi dei modelli ML su qualunque scala. I processi paralleli multi-nodo sono disponibili in tutte le regioni AWS in cui è disponibile Batch AWS.