Veröffentlicht am: Nov 30, 2022
Amazon SageMaker unterstützt Schattentests, damit du die Leistung neuer Machine Learning (ML)-Modelle durch Vergleich mit Produktionsmodellen validieren kannst. Mit Schattentests kannst du mögliche Konfigurationsfehler und Leistungsprobleme erkennen, bevor sie sich auf die Endbenutzer auswirken. Mit SageMaker entfällt der wochenlange Aufbau einer Infrastruktur für Schattentests, sodass du Modelle schneller in die Produktion überführen kannst.
Beim Testen von Modellaktualisierungen wird eine Kopie der Inferenzanfragen, die das Produktionsmodell erhalten hat, an das neue Modell gesendet, und es wird überprüft, welche Leistung es erbringt. Es kann jedoch mehrere Wochen dauern, bis du deine eigene Testinfrastruktur aufgebaut, Inferenzanforderungen gespiegelt und die Leistung der Modelle verglichen hast. Mit Amazon SageMaker kannst du ein neues ML-Modell evaluieren, indem du seine Leistung im Vergleich zum aktuell bereitgestellten Produktionsmodell testest. Wähle einfach das Produktionsmodell aus, gegen das du testen möchtest, und SageMaker stellt dir das neue Modell automatisch für Interferenz zur Verfügung. SageMaker leitet dann eine Kopie der Inferenzanfragen, die das Produktionsmodell erhalten hat, an das neue Modell weiter und erstellt ein Live-Dashboard, das die Leistungsunterschiede bei den wichtigsten Metriken wie Latenz und Fehlerrate in Echtzeit anzeigt. Nachdem Sie die Leistungsmetriken überprüft und die Modellleistung validiert haben, können Sie das Modell schnell in der Produktion bereitstellen.
Weitere Informationen finden Sie auf der Webseite zu Schattentests von Amazon SageMaker. Preisinformationen finden Sie du auf der Preisseite zu Amazon SageMaker. Die SageMaker-Unterstützung für Schattentests ist allgemein in allen AWS-Regionen verfügbar, in denen SageMaker-Inferenz verfügbar ist, mit Ausnahme der Regionen „China (Peking, betrieben von Sinnet)“ und „China (Ningxia, betrieben von NWCD)“ sowie „AWS GovCloud (USA)“.
Zum Einstieg empfehlen wir die folgende Ressourcenliste: