Veröffentlicht am: Mar 16, 2021
Amazon SageMaker unterstützt jetzt die Bereitstellung mehrerer Container auf Echtzeit-Endpunkten für Inferenzen mit geringer Latenz und den individuellen Aufruf dieser Container bei jeder Anforderung. Mit dieser neuen Funktion können Sie bis zu fünf verschiedene Modelle und Frameworks für Machine Learning (ML) auf einem einzigen Endpunkt ausführen und dabei bis zu 80 % der Kosten sparen. Diese Option ist ideal, wenn Sie mehrere ML-Modelle mit ähnlichem Ressourcenbedarf haben und wenn einzelne Modelle nicht genügend Datenverkehr haben, um die volle Kapazität der Endpunkt-Instances auszunutzen. Zum Beispiel, wenn Sie einen Satz von ML-Modellen haben, die selten oder zu unterschiedlichen Zeiten aufgerufen werden, oder wenn Sie Dev/Test-Endpunkte haben.
Um diese Funktion zu nutzen, müssen Sie die Liste der Container zusammen mit den trainierten Modellen angeben, die auf einem Endpunkt bereitgestellt werden sollen, und den Inferenzausführungsmodus "Direkt" auswählen, der SageMaker anweist, dass auf die Modelle unabhängig voneinander zugegriffen wird. Um eine Inferenz mit einem bestimmten Modell durchzuführen, rufen Sie den Endpunkt auf und geben den Namen des Containers im Anforderungs-Header an. Sie können Inferenzanforderungen an jeden Container im direkten Aufrufmodus durch Angabe von Bedingungsschlüsseln sichern und auch Metriken pro Container in Amazon CloudWatch abrufen.
Sie können die Container an Multi-Container-Endpunkten auch sequenziell für jede Inferenz ausführen (d. h. Inferenz-Pipelines), wenn Sie beim Erstellen von Inferenzen Anforderungen vor- bzw. nachverarbeiten möchten oder wenn Sie einen Satz von ML-Modellen sequenziell ausführen möchten. Diese Fähigkeit wird bereits als Standardverhalten der Multi-Container-Endpunkte unterstützt oder kann durch Einstellen des Inferenzausführungsmodus als "Seriell" aktiviert werden.
Multi-Container-Endpunkte sind in allen AWS-Regionen in Nordamerika, Südamerika, Europa, dem asiatisch-pazifischen Raum, Südafrika und dem Nahen Osten verfügbar, in denen Amazon SageMaker heute verfügbar ist. Weitere Informationen finden Sie in der Dokumentation.