ML Ops avec Amazon SageMaker et Kubernetes
Simplifier le machine learning basé sur Kubernetes avec Amazon SageMaker
Kubernetes est un système open source conçu pour automatiser le déploiement, le dimensionnement et la gestion des applications conteneurisées. Kubeflow Pipelines est un gestionnaire de flux de travail qui offre une interface pour gérer et planifier des flux de travail de machine learning (ML) sur un cluster Kubernetes. L'utilisation d'outils open source offre flexibilité et standardisation, mais nécessite du temps et des efforts pour mettre en place l'infrastructure, fournir des environnements de bloc-notes aux scientifiques des données et rester à jour avec les dernières versions du framework de deep learning.
Amazon SageMaker Operators for Kubernetes et Components for Kubeflow Pipelines permettent l'utilisation des outils de machine learning SageMaker entièrement gérés à travers le flux de travail de ML nativement depuis Kubernetes ou Kubeflow. Vous n'avez donc plus besoin de gérer et d'optimiser manuellement votre infrastructure de ML basée sur Kubernetes, tout en conservant le contrôle de l'orchestration et la flexibilité.
Avantages
Simplifier la mise en place de l'infrastructure
Amazon SageMaker Operators and Components élimine la nécessité de mettre en place votre propre environnement Kubernetes pour le machine learning en fournissant automatiquement les ressources nécessaires, avec mise à l'échelle automatique, en fonction du type d'instance Amazon EC2 que vous souhaitez.
Accent sur l'innovation
En exploitant Amazon SageMaker Operators and Components, vous pouvez éviter les mises à jour et les installations constantes pour vous assurer que vos équipes utilisent les dernières versions du framework de deep learning, les outils d'ajustement des hyperparamètres et d'autres utilitaires tels que les algorithmes réutilisables et AutoML.
Fournir rapidement
Amazon SageMaker Studio et SageMaker Notebooks vous permettent de mettre rapidement à disposition des environnements de développement, y compris des blocs-notes Jupyter, des outils de gestion des tâches et des bibliothèques Python pour vos équipes de science des données travaillant sur des plateformes de ML basées sur Kubernetes.
Fonctionnement
-
Amazon SageMaker Operators for Kubernetes
-
Amazon SageMaker Components for Kubeflow Pipelines
-
Amazon SageMaker Operators for Kubernetes
-
-
Amazon SageMaker Components for Kubeflow Pipelines
-
Cas d'utilisation
Flux de travail de ML hybrides
Parfois, certaines parties du flux de travail de ML doivent se dérouler sur site pour tenir compte de contraintes telles que les exigences locales en matière de données, mais d'autres parties du flux de travail, telles que l'inférence, peuvent se dérouler dans le cloud. Amazon SageMaker Operators and Components connecte l'infrastructure sur site au cloud pour tirer parti des services de ML entièrement gérés lorsque cela est possible dans le cadre du flux de travail de ML.
Plateformes de ML open source
De nombreuses équipes choisissent de créer des plateformes de ML en utilisant des logiciels open source pour plus de flexibilité et de portabilité entre les environnements. Cependant, l'exécution de plateformes à source ouverte nécessite la configuration des paramètres de Kubernetes. Amazon SageMaker Operators and Components permet la maintenance des plateformes de ML open source, tout en utilisant le cloud pour les parties du flux de travail de ML où cela a du sens pour les besoins de l'entreprise.
Continuité de l'activité
Un temps et des efforts considérables sont consacrés à la conception réfléchie d'environnements Kubernetes pour répondre aux besoins de l'entreprise. Amazon SageMaker Operators and Components permet l'utilisation d'un service de cloud entièrement géré tout en continuant à exploiter les plateformes de ML existantes conçues à l'aide de Kubernetes ou de Kubeflow.
Témoignages de clients
L'équipe d'IA de Cisco a conçu une implémentation de cloud hybride en utilisant Kubeflow Pipelines pour leur permettre de respecter les exigences locales en matière de données. Cisco entraîne ses modèles sur site en utilisant son propre matériel, puis les transmet à AWS et effectue des inférences à l'aide d'Amazon SageMaker, ce qui réduit de 50 % le coût total de possession du cycle de vie du ML.
Bayer Crop Science applique le machine learning pour surveiller les parcelles d'essai afin d'évaluer les performances de nouveaux produits potentiels, mais les modèles analytiques utilisés peuvent nécessiter des efforts pour être entraînés et utilisés correctement. En utilisant Amazon SageMaker avec Kubeflow Pipelines, Bayer a créé des modèles reproductibles pour l'entraînement des modèles analytiques afin d'améliorer la science des données dans toute l'organisation.
« Chez iRobot, nous utilisons le machine learning pour créer des expériences qui libèrent les clients du nettoyage quotidien lorsqu'ils vivent et travaillent à la maison. Pour atteindre l'échelle de l'entreprise, nos solutions sont développées en utilisant Kubeflow sur AWS. Nous aimons la façon dont nous sommes en mesure d'exécuter des pipelines de traitement de données, d'entraînement et de validation du machine learning avec une sécurité de niveau production et une capacité d'évolution. Nous sommes enthousiasmés par la direction d'Amazon SageMaker pour rendre l'exécution de Kubeflow sur AWS encore plus transparente, permettant à iRobot d'offrir des expériences agréables à nos clients, comme la plateforme iRobot Genius Home Intelligence. »
- Danielle Dean, PhD, directrice technique de ML