Amazon SageMaker HyperPod ora supporta la GPU Multi-Instance (MIG) NVIDIA per attività di IA generativa
Amazon SageMaker HyperPod ora supporta la tecnologia GPU Multi-Instance (MIG) NVIDIA, che consente agli amministratori di suddividere una singola GPU in più istanze GPU isolate. La funzionalità consente agli amministratori di massimizzare l'utilizzo delle risorse eseguendo simultaneamente diverse attività di IA generativa (GenAI) di piccole dimensioni su partizioni GPU, garantendo al contempo prestazioni e isolamento delle attività.
Gli amministratori hanno la possibilità di utilizzare la configurazione semplificata tramite console di SageMaker HyperPod oppure un approccio personalizzato alla configurazione per attivare risorse con isolamento hardware granulare destinate ad attività specifiche che non richiedono l'utilizzo completo della GPU. Possono anche allocare quote di calcolo per garantire una distribuzione equa ed efficiente delle partizioni GPU tra i team. Le metriche di prestazioni in tempo reale e la dashboard di monitoraggio dell'utilizzo delle risorse sulle partizioni GPU forniscono agli amministratori la visibilità necessaria per ottimizzare l'allocazione delle risorse. Ora i data scientist possono accelerare il rilascio sul mercato pianificando attività di inferenza leggere ed eseguendo notebook interattivi in parallelo su partizioni GPU, eliminando i tempi di attesa per la disponibilità di GPU complete.
Questa funzionalità è attualmente disponibile per i cluster Amazon SageMaker HyperPod che utilizzano l'orchestratore EKS nelle seguenti regioni AWS: Stati Uniti occidentali (Oregon), Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio), Stati Uniti occidentali (California settentrionale), Canada (Centrale), Sud America (San Paolo), Europa (Stoccolma), Europa (Spagna), Europa (Irlanda), Europa (Francoforte), Europa (Londra), Asia Pacifico (Mumbai), Asia Pacifico (Giacarta), Asia Pacifico (Melbourne), Asia Pacifico (Tokyo), Asia Pacifico (Sydney), Asia Pacifico (Seoul) e Asia Pacifico (Singapore).
Per saperne di più, visita la pagina web di SageMaker HyperPod e consulta la documentazione di SageMaker HyperPod.