Veröffentlicht am: Mar 4, 2022
Amazon SageMaker Serverless und Asynchronous Inference unterstützen jetzt Amazon SageMaker Python SDK, wodurch die für die Bereitstellung notwendigen Schritte abstrahiert werden, was den Workflow für Modellbereitstellungen vereinfacht. Das SageMaker Python SDK ist eine Open-Source-Bibliothek zum Bereitstellen von Machine-Learning-Modellen auf Amazon SageMaker. Sie können mit dem Python SDK alle optimierten Machine-Learning-Frameworks oder von SageMaker unterstützten Erstanbieter-Algorithmen nutzen oder Ihr eigenes Modell zum Bereitstellen einbringen.
SageMaker bietet mehrere Inferenzoptionen, wie z. B. Echtzeit, Serverless Inference (in der Vorversion), Asynchronous Inference und Batch Transform, so dass Sie die für ihre Workload am besten geeignete Option auswählen können. Das SageMaker Python SDK unterstützt bereits Echtzeitinferenz und Batch Transform. Dadurch, dass jetzt auch Serverless Inference (in der Vorversion) und Asynchronous Inference unterstützt werden, können Sie bei allen Inferenzoptionen dieselben Python-SDK-API-Methoden nutzen. Sie können bei der Modellbereitstellung jetzt zwischen der AWS-Managementkonsole, dem AWS Boto3 SDK, AWS CLI und Python SDK wählen.
Sie können einen asynchronen Inferenzendpunkt über das Python SDK aufrufen, indem sie die Nutzlast entsprechend der Abfrage weiterleiten. Das SageMaker SDK lädt dann die Nutzlast auf Ihren S3-Bucket hoch und ruft den Endpunkt für Sie auf. Das Python SDK unterstützt jetzt auch die regelmäßige Prüfung und die Ausgabe der Inferenzresultate nach ihrem Abschluss.
Lesen Sie bitte zum Einstieg die Python-SDK-Dokumentation für Serverless Inference und Asynchronous Inference.