SageMaker kündigt eine Vorversion von ml.p4de-Instances für die Modellbereitstellung an

Veröffentlicht am: Jan 27, 2023

Wir freuen uns, die Vorversion der ml.p4de.24xlarge-Instances für die Bereitstellung von Machine Learning (ML)-Modellen für Inferenzen auf Amazon SageMaker anzukündigen.

Die ml.p4de.24xlarge-Instances verfügen über 80 GB Speicher pro GPU (640 GB insgesamt) und unterstützen bis zu 8 TB lokalen NVMe-SSD-Speicher. Dies ermöglicht eine leistungsstarke Machine-Learning-Inferenz für rechenintensive Workloads auf SageMaker, wie zum Beispiel große Sprachmodelle und generative KI-Modelle. Diese Instances verfügen über 96 vCPUs, 1152 GiB Instance-Speicher und 400 Gbit/s Netzwerkbandbreite. 

Sie können ml.P4DE-Instances in den Regionen „USA Ost (Nord-Virginia)“ und „USA West (Oregon)“ verwenden. 

Um Zugriff auf die Vorversion zu erhalten, fordern Sie einfach eine Limiterhöhung über AWS Service Quotas an. Preisinformationen zu diesen Instances finden Sie auf unserer Preisseite. Weitere Informationen zur Bereitstellung von Modellen mit SageMaker finden Sie in der Übersicht und in der Dokumentation. Um mehr über P4de-Instances im Allgemeinen zu erfahren, besuchen Sie die P4-Produktseite.