Amazon SageMaker HyperPod unterstützt jetzt NVIDIA Multi-Instance GPU (MIG) für generative KI-Aufgaben
Amazon SageMaker HyperPod unterstützt jetzt die NVIDIA Multi-Instance GPU (MIG)-Technologie, sodass Administratoren eine einzelne GPU in mehrere isolierte GPUs partitionieren können. Diese Funktion ermöglicht es Administratoren, die Ressourcenauslastung zu maximieren, indem sie verschiedene kleine generative KI-Aufgaben (GenAI) parallel auf GPU-Partitionen ausführen und gleichzeitig Leistung und Aufgabenisolierung beibehalten.
Administratoren können entweder das einfach zu bedienende Konfigurations-Setup in der SageMaker-HyperPod-Konsole oder einen benutzerdefinierten Setup-Ansatz wählen, um differenzierte Hardware-isolierte Ressourcen für spezifische Aufgabenanforderungen bereitzustellen, die nicht die volle GPU-Kapazität erfordern. Sie können auch Rechenkontingente zuweisen, um eine faire und effiziente Verteilung der GPU-Partitionen auf die Teams sicherzustellen. Mit Echtzeit-Leistungskennzahlen und einem Dashboard zur Überwachung der Ressourcennutzung über GPU-Partitionen hinweg erhalten Administratoren Einblicke, mit denen sie die Ressourcenzuweisung optimieren können. Datenwissenschaftler können jetzt die Markteinführung beschleunigen, indem sie einfache Inferenzaufgaben planen und interaktive Notebooks parallel auf GPU-Partitionen ausführen, wodurch Wartezeiten für die volle GPU-Verfügbarkeit vermieden werden.
Diese Funktion ist derzeit für Amazon-SageMaker-HyperPod-Cluster verfügbar, die den EKS-Orchestrator in den folgenden AWS-Regionen verwenden: USA West (Oregon), USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), Kanada (Zentral), Südamerika (São Paulo), Europa (Stockholm), Europa (Spanien), Europa (Irland), Europa (Frankfurt), Europa (London), Asien-Pazifik (Mumbai), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Asien-Pazifik (Tokio), Asien-Pazifik (Sydney), Asien-Pazifik (Seoul), Asien-Pazifik (Singapur).
Weitere Informationen finden Sie auf der SageMaker-HyperPod-Webseite und in der SageMaker-HyperPod-Dokumentation.