Veröffentlicht am: Feb 28, 2018
Sie können jetzt das Auto Scaling Ihrer Endpunkte über die Amazon SageMaker-Konsole, die AWS Auto Scaling-API und das AWS SDK konfigurieren, um das Kapazitätsmanagement zu vereinfachen. Mit Amazon SageMaker können Sie die Anzahl und den Typ der Instances pro Endpunkt angeben, um die Skalierung bereitzustellen, die Sie für Ihre Inferenzen benötigen. Wenn sich das Inferenzvolumen ändert, können Sie die Anzahl und/oder den Typ der Instances ändern, die jeden Endpunkt unterstützen, um diese Änderung zu berücksichtigen. Mithilfe von Auto Scaling können Sie die Inferenzkapazität automatisch anpassen, um eine vorhersagbare Leistung zu geringen Kosten aufrechtzuerhalten. In der Amazon SageMaker-Konsole konfigurieren Sie die minimale und maximale Anzahl von Instances für Ihren Endpunkt und anschließend den Durchsatz pro Instance. Amazon SageMaker überwacht Ihre implementierten Modelle, um die Anzahl der Instances automatisch anzupassen und den Durchsatz innerhalb der gewünschten Ebenen als Reaktion auf Änderungen im Anwendungsdatenverkehr beizubehalten. Dies erleichtert die Verwaltung von Modellen in der Produktion und trägt dazu bei, die Kosten für bereitgestellte Modelle zu senken.
Auto Scaling in Amazon SageMaker ist in den AWS-Regionen USA Ost (Nord-Virginia und Ohio), EU (Irland) und USA West (Oregon) verfügbar. Weitere Informationen zum automatischen Skalieren von Modellen in Amazon SageMaker finden Sie in der Dokumentation.