Amazon SageMaker HyperPod prend désormais en charge le GPU multi-instance NVIDIA (MIG) pour les tâches d'IA générative
Amazon SageMaker HyperPod prend désormais en charge la technologie NVIDIA Multi-Instance GPU (MIG), qui permet aux administrateurs de partitionner un seul GPU en plusieurs GPU isolés. Cette fonctionnalité permet aux administrateurs de maximiser l'utilisation des ressources en exécutant simultanément diverses petites tâches d'IA générative (GenAI) sur des partitions GPU tout en préservant les performances et l'isolation des tâches.
Les administrateurs peuvent choisir soit la configuration facile à utiliser sur la console SageMaker HyperPod, soit une approche de configuration personnalisée pour activer des ressources précises et isolées du matériel pour des tâches spécifiques ne nécessitant pas la pleine capacité du processeur graphique. Ils peuvent également allouer des quotas de calcul pour garantir une distribution équitable et efficace des partitions GPU entre les équipes. Grâce à des métriques de performance en temps réel et à un tableau de bord de surveillance de l'utilisation des ressources sur les partitions GPU, les administrateurs gagnent en visibilité pour optimiser l'allocation des ressources. Les scientifiques des données peuvent désormais accélérer la mise sur le marché en planifiant des tâches d'inférence légères et en exécutant des notebooks interactifs en parallèle sur des partitions GPU, éliminant ainsi les temps d'attente pour une disponibilité complète du GPU.
Cette fonctionnalité est actuellement disponible pour les clusters Amazon SageMaker HyperPod utilisant l'orchestrateur EKS dans les régions AWS USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Californie du Nord), USA Ouest (Oregon), Amérique du Sud (São Paulo), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Asie-Pacifique (Mumbai), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Canada (Centre), Europe (Espagne), Europe (Francfort), Europe (Irlande), Europe (Londres) et Europe (Stockholm).
Pour en savoir plus, consultez la page Web de SageMaker HyperPod et la documentation relative à SageMaker HyperPod.