Amazon EKS ora supporta fino a 100.000 nodi worker per cluster
Oggi Amazon EKS introduce il supporto per un massimo di 100.000 nodi worker in un singolo cluster, consentendo l'esecuzione di carichi di lavoro AI/ML di addestramento e inferenza su larga scala per singolo cluster. Grazie ai nuovi tipi di istanze a calcolo accelerato di ultima generazione di Amazon EC2, il supporto per 100.000 nodi worker permette di utilizzare fino a 1,6 milioni di chip Trainium con istanze Trn2 e 800.000 GPU NVIDIA con istanze P5 e P6 in un solo cluster. In questo modo è possibile eseguire su larga scala carichi di lavoro AI/ML che richiedono l'accesso a tutti gli acceleratori di calcolo all'interno di un unico cluster, poiché non è semplice distribuire tali carichi su più cluster.
I modelli di IA più avanzati, con trilioni di parametri, dimostrano capacità nettamente superiori nella comprensione del contesto, nel ragionamento e nella risoluzione di attività complesse. Per sviluppare e gestire questi modelli sempre più potenti, le organizzazioni hanno bisogno di accedere a un numero elevatissimo di acceleratori di calcolo in un unico cluster. L'accesso consolidato a un pool così ampio di acceleratori computazionali offre vantaggi fondamentali: consente alle organizzazioni di sviluppare e distribuire modelli di IA più potenti che mai, riduce i costi grazie alla condivisione efficiente degli acceleratori tra carichi di lavoro di addestramento e inferenza e garantisce l'utilizzo senza interruzioni degli strumenti e dei framework AI/ML esistenti, non progettati per operare su più cluster.
Per maggiori informazioni, consulta il post relativo al lancio sul blog.