Veröffentlicht am: Nov 10, 2021
Amazon SageMaker Inference unterstützt jetzt neue Modellbereitstellungsoptionen, um Ihre Modelle für Machine Learning in der Produktion zu aktualisieren. Mit dem neuen Integritätsschutz bei der Bereitstellung können Sie einfach und kontrolliert vom aktuellen Modell in der Produktion zu einem neuen wechseln. Mit dieser Einführung werden die Modi Canary und Linear zur Verlagerung des Datenverkehrs eingeführt, so dass Sie die Verlagerung des Datenverkehrs von Ihrem aktuellen Modell auf das neue Modell im Verlauf der Aktualisierung detailliert steuern können. Mit integrierten Schutzmechanismen wie Auto-Rollbacks können Sie Probleme frühzeitig erkennen und automatisch Korrekturmaßnahmen ergreifen, bevor sie erhebliche Auswirkungen auf die Produktion haben.
Amazon SageMaker ist ein vollständig verwalteter Service, der Entwicklern und Datenwissenschaftlern bei der Vorbereitung, der Entwicklung, dem Training und der Bereitstellung hochwertiger Machine-Learning-Modelle durch eine breite Palette von speziell für ML entwickelten Funktionen unterstützt. Wenn Sie Ihre trainierten ML-Modelle in Amazon SageMaker bereitstellen, kümmert sich Amazon SageMaker um die Bereitstellung, das Patchen und die Aktualisierung der Endpunkte, sodass Sie sich auf die Betrieb Ihrer Anwendungen mit ML konzentrieren können. Wenn Sie Ihren Endpunkt mit einer neueren Version Ihres ML-Modells oder Serving-Containers aktualisieren müssen, erstellt SageMaker eine neue Flotte (grüne Flotte), welche die Aktualisierungen enthält, und verlagert den Datenverkehr von der bestehenden Flotte (blaue Flotte) in einem Zug, was als blau/grüne Bereitstellung bezeichnet wird. Dadurch wird sichergestellt, dass der Endpunkt auf Anfragen reagieren kann, auch wenn die Aktualisierung im Gange ist, was die Verfügbarkeit maximiert wird.
Mit dieser Einführung fügt Amazon SageMaker die Modi Canary und Linear zur Verlagerung des Datenverkehrs zu blau/grünen Bereitstellungen hinzu. Diese Modi bieten Ihnen eine detailliertere Kontrolle bei der Verlagerung des Datenverkehrs zwischen den Flotten, so dass Sie Vertrauen aufbauen können, bevor Sie den Datenverkehr anwählen. Außerdem können Sie CloudWatch-Alarme für Metriken wie Latenz oder Fehlerraten vorgeben und die Bereitstellung automatisch auf die blaue Flotte zurücksetzen, wenn einer dieser Alarme ausgelöst wird. Im Canary-Modus können Sie einen kleinen Prozentsatz des Datenverkehrs auf die grüne Flotte (die sogenannte Canary-Flotte) verlagern, das Verhalten der Canary-Flotte über einen bestimmten Zeitraum (die so genannte Back-Periode) beobachten und den restlichen Datenverkehr nur dann verlagern, wenn während der Back-Periode keine Alarme ausgelöst werden. Im linearen Modus können Sie den Datenverkehr in konfigurierbaren festen Schritten (z. B. 10 %) auf die grüne Flotte verlagern und das Verhalten während einer Back-Periode beobachten, bevor Sie den nächsten Teil verlagern. Bei allen blau/grünen Bereitstellungen können Sie die Flotten beobachten, nachdem der gesamte Datenverkehr verlagert wurde (bekannt als die letzte Baking-Periode), bevor Sie die blaue Flotte beenden. Diese Modi zur Verlagerung des Datenverkehrs helfen Ihnen dabei, das Risiko der Einführung neuer Modelle in die Produktion gegen die Kontrolle über die Dauer der Aktualisierung abzuwägen, so dass Sie die richtige Option für Ihren Anwendungsfall wählen können. Die Verlagerung des gesamten Datenverkehrs auf einmal minimiert die Dauer der Aktualisierung und der lineare Modus minimiert das Risiko der Einführung eines neuen Modells in die Produktion durch Verlagerung des Datenverkehrs in mehreren Schritten. Der Canary-Modus verlagert den gesamten Datenverkehr in zwei Schritten und bietet so ein ausgewogenes Verhältnis zwischen Risiko und Aktualisierungsdauer.
Ausführliche Informationen zu diesen neuen Funktionen finden Sie in unserer Dokumentation, die auch Beispiel-Notizbücher enthält, die Ihnen den Einstieg erleichtern. Diese neuen stufenweisen Bereitstellungsfunktionen sind für alle neu erstellten Endpunkte in allen kommerziellen Regionen verfügbar, in denen Amazon SageMaker verfügbar ist. Eine Liste der Funktionen, die nicht unterstützt werden, finden Sie im Abschnitt Ausnahmen unserer Dokumentation.