Amazon SageMaker HyperPod unterstützt jetzt G7e- und r5d.16xlarge-Instances
Amazon SageMaker HyperPod unterstützt jetzt G7e- und r5d.16xlarge-Instances. SageMaker HyperPod ist eine speziell entwickelte Infrastruktur für die Entwicklung, das Training und die Bereitstellung von Foundation Models (Basismodellen) in großem Maßstab. Die robuste und leistungsstarke Umgebung bietet integrierte Fehlertoleranz, automatisierte Cluster-Wiederherstellung und optimierte verteilte Trainingsbibliotheken, was den undifferenzierten Aufwand bei der Verwaltung umfangreicher KI/ML-Infrastrukturen reduziert.
G7e-Instances sind mit NVIDIA RTX PRO 6000 Blackwell Server Edition-GPUs ausgestattet und bieten eine bis zu 2,3-mal bessere Inferenzleistung als G6e-Instances, d. h., Sie können mehr Anfragen pro Sekunde verarbeiten und gleichzeitig die Latenz reduzieren. Mit bis zu 768 GB GPU-Gesamtspeicher können Sie mit G7e-Instances größere Sprachmodelle bereitstellen oder mehrere Modelle auf einem einzigen Endpunkt ausführen. Sie können diese Instances für die Bereitstellung von LLMs, agentenbasierter KI, multimodaler generativer KI und physischer KI-Modelle verwenden. G7e-Instances eignen sich auch gut für die kosteneffiziente Feinabstimmung oder das Training von NLP-, Computer Vision- und kleineren generativen KI-Modellen mit bis zu 1,27-mal so vielen TFLOPs und einer bis zu 4-fachen GPU-GPU-Bandbreite im Vergleich zu G6e. Darüber hinaus unterstützt HyperPod jetzt auch r5d.16xlarge. Die r5d.16xlarge-Instance bietet 64 vCPUs, 512 GB Arbeitsspeicher und 5 x 600 GB NVMe-SSD-Instance-Speicher. Sie verfügt über Prozessoren der Intel Xeon Platinum 8000-Serie mit einer dauerhaften All-Core-Turbofrequenz von bis zu 3,1 GHz. Diese Instance eignet sich gut für die Vorverarbeitung verteilter Trainingsdaten, insbesondere mit Frameworks wie Ray, umfangreichem Feature-Engineering und der Ausführung speicherintensiver Orchestrierungsdienste neben der GPU-Berechnung.
G7e-Instances sind in USA Ost (Nord-Virginia), USA Ost (Ohio), Asien-Pazifik (Tokio) und USA West (Oregon) verfügbar und r5d.16xlarge ist in allen Regionen verfügbar, in denen Amazon SageMaker HyperPod verfügbar ist.