Amazon SageMaker Inference unterstützt jetzt fortlaufende Aktualisierungen für Endpunkte von Inferenzkomponenten
Amazon SageMaker Inference unterstützt jetzt fortlaufende Updates für Inferenzkomponenten (IC)-Endpunkte. Auf diese Weise können Kunden laufende IC-Endpunkte ohne Unterbrechung des Datenverkehrs aktualisieren und gleichzeitig nur minimale zusätzliche Instances verwenden, anstatt wie in der Vergangenheit doppelte Instances zu benötigen. SageMaker Inference erleichtert die Bereitstellung von ML-Modellen, einschließlich Basismodellen (FMs). Als Merkmal von SageMaker Inference ermöglicht IC Kunden, mehrere FMs auf demselben Endpunkt bereitzustellen und die Beschleunigerzuweisung für jedes Modell zu kontrollieren.
Dank laufender Updates können Kunden jetzt ICs innerhalb eines Endpunkts stapelweise aktualisieren, anstatt wie bei der vorherigen Blau/Grün-Aktualisierungsmethode alles auf einmal. Blau/Grün-Aktualisierungen erforderten die Bereitstellung einer neuen IC-Flotte mit dem aktualisierten Modell, bevor der Verkehr von der alten Flotte auf die neue verlagert wurde, wodurch sich die Anzahl der erforderlichen Instances effektiv verdoppelte. Bei der fortlaufenden Aktualisierung werden neue ICs in kleineren Batches erstellt, wodurch die Anzahl der zusätzlichen Instanzen, die bei Updates benötigt werden, erheblich reduziert wird. Dies hilft Kunden, die Kosten für zusätzliche Kapazitäten zu minimieren und bei ihren Kapazitätsreservierungen einen geringeren Pufferbedarf aufrechtzuerhalten.
Die fortlaufende Aktualisierung für IC ist in allen Regionen verfügbar, in denen IC unterstützt wird: Asien-Pazifik (Tokio, Seoul, Mumbai, Singapur, Sydney, Jakarta), Kanada (Zentral), Europa (Frankfurt, Stockholm, Irland, London), Naher Osten (VAE), Südamerika (Sao Paulo), USA Ost (Nord-Virginia, Ohio) und USA West (Nordkalifornien, Oregon). Weitere Informationen finden Sie in der Dokumentation.