Veröffentlicht am: Dec 1, 2021
Amazon SageMaker Serverless Inference ist eine neue Inferenzoption, mit der Sie Machine-Learning-Modelle für Inferenz bereitstellen können, ohne die zugrunde liegende Infrastruktur konfigurieren oder verwalten zu müssen. Wählen Sie bei der Bereitstellung Ihres Machine-Learning-Modells einfach die Serverless-Option aus, und Amazon SageMaker stellt automatisch Rechenkapazität bereit, skaliert sie und schaltet sie ab, je nach Umfang der Inferenzanforderungen. Mit SageMaker Serverless Inference zahlen Sie nur für die Dauer der Ausführung des Inferenzcodes und die Menge der verarbeiteten Daten, nicht für Leerlaufzeiten.
Amazon SageMaker Serverless Inference ist ideal für Anwendungen mit unregelmäßigem oder unvorhersehbarem Datenverkehr. Ein Chatbot-Service, der von einem Gehaltsabrechnungsunternehmen genutzt wird, verzeichnet zum Beispiel am Monatsende einen Anstieg der Anfragen, während der restliche Monat von unregelmäßigem Datenverkehr geprägt ist. Die Bereitstellung von Instances für den gesamten Monat ist in solchen Szenarien nicht kosteneffizient, da Sie am Ende für Leerlaufzeiten bezahlen. Amazon SageMaker Serverless Inference hilft Ihnen, diese Art von Anwendungsfällen zu bewältigen, indem die Rechenkapazität automatisch basierend auf der Menge der Inferenzanforderungen skaliert wird, ohne dass Sie die Datenverkehrsnachfrage im Voraus prognostizieren oder Skalierungsrichtlinien verwalten müssen. Darüber hinaus zahlen Sie nur für die Computingzeit zur Ausführung Ihres Inferenzcodes (abgerechnet in Millisekunden) und die verarbeitete Datenmenge, was die Lösung zu einer kosteneffizienten Option für Workloads mit unregelmäßigem Datenverkehr macht. Mit der Einführung von SageMaker Serverless Inference bietet SageMaker nun vier Inferenzoptionen und erweitert damit die Bereitstellungsmöglichkeiten für eine Vielzahl von Anwendungsfällen. Die anderen drei Optionen sind: SageMaker Real-Time Inference für Workloads mit geringen Latenzanforderungen in der Größenordnung von Millisekunden, SageMaker Batch Transform, um Vorhersagen für Batches von Daten auszuführen, und SageMaker Asynchronous Inference für Inferenzen mit umfangreichen Nutzlastdaten oder langen Verarbeitungszeiten, Weitere Informationen finden Sie auf der Bereitstellungswebseite von Amazon SageMaker.
Sie können einen SageMaker-Inference-Endpunkt einfach über die Konsole, die AWS-SDKs oder die AWS CLI erstellen. Detaillierte Schritte für den Einstieg finden Sie in der Dokumentation zu SageMaker Serverless Inference, die auch ein Beispiel-Notebook enthält. Preisinformationen finden Sie auf der SageMaker-Preisseite. SageMaker Serverless Inference ist als Vorversion in folgenden Regionen verfügbar: USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Europa (Irland), Asien-Pazifik (Tokio) und Asien-Pazifik (Sydney).