Amazon SageMaker AI-Inferenz unterstützt jetzt GPU-Partitionierung für Echtzeit-Endpunkte
Amazon SageMaker AI-Inferenz unterstützt jetzt die GPU-Partitionierung, sodass Sie mehrere Modelle auf einer einzigen GPU ausführen können, anstatt jedem Modell einen kompletten Accelerator zuzuweisen. Mithilfe der NVIDIA Multi-Instance GPU (MIG)-Technologie teilt SageMaker AI eine GPU in bis zu sieben isolierte Partitionen auf, von denen jede über ihren eigenen Speicher und ihre eigene Rechenleistung verfügt. Kunden, die kleine und mittelgroße Modelle wie optimierte Varianten, Einbettungsmodelle, Reranker und Klassifikatoren betreuten, mussten zuvor jedem Modell einen kompletten Accelerator zuweisen, sodass eine Instance nicht mehr Modelle hostete, als sie GPUs hatte, und bezahlten für GPU-Kapazität, die diese Modelle niemals nutzen konnten.
Bei der GPU-Partitionierung entscheiden Sie, wie Sie die GPUs hinter Ihrem Endpunkt aufteilen und jedes Modell auf einer Partition platzieren, deren Größe dazu passt. Mehrere Modelle teilen sich dann einen Accelerator mit hardwareerzwungener Isolierung, sodass ein stark ausgelastetes Modell den nebenstehenden Modellen weder Speicher noch Durchsatz abnehmen kann. Die richtige Dimensionierung eines Accelerators an eine bestimmte Workload ermöglicht auch neuere Instance-Generationen, die andernfalls mehr Kapazität hätten, als ein einzelnes Modell benötigt. Sie konfigurieren die GPU-Partitionierung, wenn Sie einen Endpunkt erstellen, der Inferenzkomponenten hostet, und Sie rufen weiterhin jedes Modell anhand des Namens auf, sodass sich Ihr Anwendungscode nicht ändert.
Die GPU-Partitionierung ist auf P4d-, P5-, G7- und G7e-Instances in den USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Tokio), Europa (Frankfurt) und Europa (Irland) verfügbar. Weitere Informationen finden Sie auf der Amazon SageMaker AI-Bereitstellungsseite und im Amazon SageMaker AI-Entwicklerhandbuch.