Amazon SageMaker Pipelines

Premier service CI/CD spécialisé dédié au machine learning

Créez, automatisez et gérez des flux ML de bout en bout à grande échelle, notamment d'énormes quantités de données, des milliers d'expériences d'entraînement et des centaines de versions de modèles

Automatisez les différentes étapes du flux ML, notamment le chargement des données, la transformation des données, l'entraînement et l'ajustement ainsi que le déploiement

Partagez et réutilisez les flux pour recréer et optimiser les modèles afin de faciliter la mise à l'échelle du ML et de mettre en place un pôle MLOps

Caractéristiques principales

Composer, gérer et réutiliser les flux de travail du ML

En utilisant Amazon SageMaker Pipelines, vous pouvez créer des flux de travail de ML avec un SDK Python facile à utiliser, puis visualiser et gérer votre flux de travail en utilisant Amazon SageMaker Studio. Vous pouvez être plus efficace et évoluer plus rapidement en stockant et en réutilisant les étapes du flux de travail que vous créez dans SageMaker Pipelines. Vous pouvez également démarrer rapidement avec des modèles intégrés pour créer, tester, enregistrer et déployer des modèles afin de pouvoir démarrer rapidement avec la CI/CD dans votre environnement de ML.

Choisir les meilleurs modèles à déployer dans la production

De nombreux clients ont des centaines de flux de travail, chacun avec une version différente du même modèle. Avec le registre de modèles de SageMaker Pipelines, vous pouvez suivre ces versions dans un référentiel central où il est facile de choisir le bon modèle pour le déploiement en fonction des besoins de votre entreprise. Vous pouvez utiliser SageMaker Studio pour parcourir et découvrir les modèles, ou vous pouvez y accéder via le kit SDK de SageMaker Python.

Suivi automatique des modèles

Amazon SageMaker Pipelines consigne chaque étape de votre flux de travail, créant ainsi une piste d'audit des composants du modèle tels que les données d'entraînement, les configurations de la plateforme, les paramètres du modèle et les gradients d'apprentissage. Les pistes d'audit peuvent être utilisées pour recréer des modèles et aider à prendre en charge les exigences de conformité.

Apporter la CI/CD au machine learning

Amazon SageMaker Pipelines apporte les pratiques de CI/CD au machine learning, telles que le maintien de la parité entre les environnements de développement et de production, le contrôle de version, les tests à la demande et l'automatisation de bout en bout, vous aidant ainsi à faire évoluer le ML dans toute votre organisation.

Clients

iFood
« Chez iFood, nous nous efforçons de satisfaire nos clients grâce à nos services utilisant des technologies telles que le machine learning (ML). ... La création d'un flux de travail complet et transparent pour développer, entraîner et déployer des modèles a été une partie essentielle de notre parcours pour faire évoluer le machine learning. Amazon SageMaker Pipelines nous aide à créer rapidement plusieurs flux de travail de machine learning automatisés et évolutifs et facilite le déploiement et la gestion efficace de nos modèles. SageMaker Pipelines nous permet d'être plus efficaces dans notre cycle de développement. Nous continuons à mettre l'accent sur notre leadership dans l'utilisation de l'AI/ML pour offrir un service client et une efficacité supérieurs grâce à toutes ces nouvelles fonctionnalités d'Amazon SageMaker. »

Sandor Caetano, scientifique des données en chef, iFood

Invista
« Chez INVISTA, nous sommes axés sur la transformation et nous souhaitons développer des produits et des technologies qui aident nos clients dans le monde entier. Nous considérons le machine learning comme un moyen d'améliorer l'expérience client, mais avec des ensembles de données qui couvrent des centaines de millions de lignes, nous avions besoin d'une solution pour nous aider à préparer les données et à développer, déployer et gérer des modèles de ML à grande échelle. ... Nous pouvons facilement automatiser et gérer les flux de travail de ML à grande échelle avec Amazon SageMaker Pipelines, de sorte que nous pouvons facilement assembler les différentes étapes du flux de travail de ML... Avec Amazon SageMaker Pipelines, nous pouvons rendre nos flux de travail de ML opérationnels plus rapidement. »

Caleb Wilkinson, scientifique des données - INVISTA

Care.com
« Une industrie des soins forte où l'offre correspond à la demande est essentielle pour la croissance économique, de la famille individuelle jusqu'au PIB de la nation. Nous sommes enthousiasmés par Amazon SageMaker Pipelines, car nous pensons que cela nous aidera à mieux évoluer au sein de nos équipes de science des données et de développement, en utilisant un ensemble cohérent de données organisées que nous pouvons utiliser pour créer des pipelines de modèles de machine learning (ML) évolutifs de bout en bout, depuis la préparation des données jusqu'au déploiement. Avec les nouvelles fonctionnalités annoncées d'Amazon SageMaker, nous pouvons accélérer le développement et le déploiement de nos modèles de ML pour différentes applications, aidant ainsi nos clients à prendre des décisions plus éclairées grâce à des recommandations en temps réel plus rapides. »

Clemens Tummeltshammer, responsable des sciences des données, Care.com

3M
« Avec le ML, 3M améliore les produits essayés et testés, comme le papier de verre, et encourage l'innovation dans plusieurs autres domaines, tels que celui de la santé. Alors que nous planifions d’instaurer le machine learning dans d’autres secteurs de 3M, nous voyons la quantité de données et de modèles augmenter rapidement, doubler chaque année. Nous avons hâte de découvrir les nouvelles fonctionnalités SageMaker parce que nous savons qu’elles nous aideront à nous mettre à l’échelle. Amazon SageMaker Data Wrangler simplifie la préparation des données destinées aux modèles d’entraînement et Amazon SageMaker Feature Store éliminera le besoin de créer encore et toujours les mêmes fonctionnalités de modèle. Enfin, Amazon SageMaker Pipelines nous aidera à automatiser la préparation de données, la création de modèles et le déploiement des modèles dans un flux de travail complet pour que la commercialisation de nos modèles se fasse plus rapidement. Chez 3M, nos chercheurs attendent avec impatience de pouvoir profiter de la nouvelle rapidité de la science. »

David Frazee, directeur technique chez 3M Corporate Systems Research Lab

Ressources

vidéo

Comment créer des flux ML entièrement automatisés avec Amazon SageMaker Pipelines (29:23)