Veröffentlicht am: Nov 29, 2023
Wir freuen uns, heute die allgemeine Verfügbarkeit einer vereinfachten Entwicklererfahrung für Amazon SageMaker Pipelines bekannt zu geben. Mit dem verbesserten Python-SDK können Sie schnell Workflows für Machine Learning (ML) mit vertrauter Python-Syntax erstellen. Zu den wichtigsten Features des SDK gehören ein neuer Python-Decorator (@step) für benutzerdefinierte Schritte, ein Notebook-Jobs-Schritttyp und ein Workflow-Scheduler.
ML-Entwicklung beginnt oft mit einem monolithischen Python-Code für Experimente in Ihrer lokalen Entwicklungsumgebung (z. B. Jupyter Notebooks), bevor Sie sich entscheiden, die Ausführung durch entkoppelte Pipeline-Schritte zu automatisieren. Mit der neuen Entwicklererfahrung von Amazon SageMaker Pipelines können Sie Ihren ML-Code in wenigen Minuten in einen automatisierten Directed Acyclic Graph (DAG) mit verschiedenen ML-Schritten konvertieren. Um einen ML-Workflow zu erstellen, kommentieren Sie Ihre vorhandenen Python-Funktionen mit „@step“ -Dekoratoren und übergeben Sie den letzten Schritt an die Pipeline-Erstellungs-API. Amazon SageMaker interpretiert automatisch die Abhängigkeiten zwischen den annotierten Python-Funktionen, erstellt benutzerdefinierte Pipeline-Schritte für jede von ihnen und generiert die Pipeline-DAG. Wenn Ihr ML-Code auf mehrere Python-Notebooks verteilt ist, können Sie diese miteinander verketten, um einen Arbeitsablauf von Notebook-Jobs zu orchestrieren. Wenn Sie den Workflow später automatisch auf wiederkehrender Basis ausführen möchten, können Sie einen Ausführungsplan mithilfe eines einzigen Funktionsaufrufs im neuen Python-SDK konfigurieren.
Erstellen Sie zunächst einen ML-Workflow mit einem der vorgefertigten Beispiel-Notebooks auf GitHub und visualisieren Sie ihn in der Amazon SageMaker Studio-Benutzeroberfläche. Weitere Informationen finden Sie im Amazon SageMaker Pipelines-Entwicklerhandbuch.