Veröffentlicht am: Dec 8, 2020
Wir freuen uns, Amazon SageMaker Pipelines anzukündigen, eine neue Funktion von Amazon SageMaker zum Erstellen, Verwalten, Automatisieren, und Erweiterung von End-to-End-Arbeitsprozessen für maschinelles Lernen. SageMaker Pipelines bringt Automatisierung und Inszenierung in ML-Arbeitsprozessen, und ermöglicht es Ihnen, Projekte zum maschinellen Lernen zu beschleunigen, und auf Tausende von Modellen in der Produktion zu vergrößern.
Maschinelles Lernen ist ein sich ständig wiederholender Prozess, und erfordert die Zusammenarbeit verschiedener Beteiligter wie Dateningenieure, Datenwissenschaftler, ML-Ingenieure und DevOps-Ingenieure. Es ist eine Herausforderung, einen vergrößerbaren Prozess für die Erstellung von Modellen zu entwickeln, da die Anzahl der Schritte für die Datenvorbereitung, das Merkmale-Engineering, das Training, und die Modellbewertung sehr groß werden kann, was die Komplexität bei der Verwaltung von Datenabhängigkeiten erhöht. Da die Anzahl der Modelle steigt, muss die Verwaltung der Modellversionen, und deren Einsatz in der Produktion auf einfache und ausbaufähige Weise automatisiert werden. Und schließlich erfordert die Nachverfolgung der Abfolge über die gesamte Pipeline hinweg benutzerdefinierte Werkzeuge für die Nachverfolgung von Daten, und Modellarten und Aktionen.
Amazon SageMaker Pipelines ermöglicht es Data Science- und Engineering-Teams, nahtlos an ML-Projekten zusammenzuarbeiten, und die Erstellung, Automatisierung und Vergrößerbarkeit von End-to-End-ML-Arbeitsprozesse zu optimieren. Amazon SageMaker SDK erleichtert den Aufbau von Modellierungspipelines, indem es die Parameter und Schritte definiert, die Amazon SageMaker Data Wrangler, Verarbeitung, Schulung, Batch Transformation, bedingte Auswertung und die Registrierung von Modellen in der zentralen Modellregistrierung umfassen können. Sobald die Pipelines erstellt sind, kümmert sich Amazon SageMaker um die Ausführung der Pipelines, und Sie können die Pipeline-Ausführungen, sowie die Echtzeitmessungen und Protokolle für jeden Schritt in Amazon SageMaker Studio anzeigen. Modelle werden in der neuen Amazon SageMaker-Modellregistrierung registriert, die neue, aus Pipelines generierte Modelle automatisch versioniert und integrierte Genehmigungsabläufe bietet, um auszuwählen, welche Modelle für die Produktion bereitgestellt werden.
Amazon SageMaker Pipelines bietet DevOps-Best-Practices der fortlaufenden Integration, und ständiger Bereitstellung (CI/CD), angewandt auf maschinelles Lernen (bekannt als MLOps), um die ML-Modellbildung und Bereitstellungspipelines zu automatisieren und zu vergrößern. Amazon SageMaker Pipelines bietet integrierte MLOps-Vorlagen, damit Sie mit CI/CD für ML-Projekte beginnen können, und bietet auch die Möglichkeit, benutzerdefinierte MLOps-Vorlagen zu verwenden. Infolgedessen können Sie Ihre ML-Pipelines schnell und einfach erweitern, ohne sich auf manuelle Prozesse verlassen zu müssen, und die Konsistenz des Codes, Integrations- und Unit-Tests, sowie zuverlässige Modellaktualisierungen in der Produktion besser sicherstellen. Schließlich verfolgt Amazon SageMaker Pipelines automatisch die Herkunft für jeden Schritt Ihrer ML-Pipeline, was bei allen Steuerungs- und Audit-Anforderungen hilfreich sein kann, ohne dass benutzerdefinierte Tools erstellt werden müssen.
Amazon SageMaker Pipelines ist jetzt generell in allen kommerziellen AWS-Regionen verfügbar, in denen auch Amazon SageMaker verfügbar ist. Die MLOps-Funktionen von Amazon SageMaker Pipelines sind nur in den AWS-Regionen verfügbar, in denen auch AWS CodePipeline verfügbar ist. Lesen Sie die Dokumentation für weitere Informationen und für Beispiel-Notebooks. Um zu erfahren, wie Sie die Funktion verwenden, besuchen Sie den Blogbeitrag.