Amazon SageMaker AI unterstützt jetzt Kapazitäten für Inferenz mit flexiblen Trainingsplänen
Die flexiblen Trainingspläne (FTP) von Amazon SageMaker AI unterstützen jetzt Inferenz-Endpunkte, damit Kunden garantierte GPU-Kapazität für geplante Evaluierungen und Produktionsspitzen erhalten. Kunden können jetzt genau die Instance-Typen reservieren, die sie benötigen, und sich darauf verlassen, dass SageMaker AI den Inferenz-Endpunkt automatisch aufruft, ohne sich Gedanken um das Infrastrukturmanagement machen zu müssen.
Wenn Kunden ihre ML-Entwicklungszyklen planen, müssen sie darauf vertrauen können, dass die benötigten GPUs für die Modellbewertung und die Tests vor der Produktion genau zum erforderlichen Zeitpunkt verfügbar sind. FTP erleichtert Kunden den Zugriff auf die GPU-Kapazität für die Ausführung von ML-Workloads. Mit der FTP-Unterstützung für Inferenz-Endpunkte wählen Sie Ihre bevorzugten Instance-Typen, Rechenanforderungen, Reservierungsdauer und Startdatum für Ihre Inferenz-Workload. Wenn Sie bei der Erstellung des Endpunkts auf den Reservierungs-ARN verweisen, stellt SageMaker AI den Endpunkt automatisch bereit und führt ihn für die gesamte Plandauer mit der garantierten Kapazität aus. Dadurch entfällt wochenlanger Aufwand für Infrastrukturmanagement und Planung, und Sie können Inferenzen vorhersehbar ausführen und sich gleichzeitig auf die Verbesserung der Modellleistung konzentrieren.
Die Unterstützung flexibler Trainingspläne für SageMaker AI Inference ist in den folgenden Regionen verfügbar: USA Ost (Nord-Virginia), USA West (Oregon), USA Ost (Ohio).
Weitere Informationen zur Nutzung von FTP-Reservierungen für Inferenz-Endpunkte finden Sie in der SageMaker AI Inference API-Referenz.