Amazon SageMaker
Le machine learning à la portée de tous les développeurs et scientifiques des données
Amazon SageMaker est un service entièrement géré permettant aux développeurs et aux scientifiques des données de créer, de former et de déployer rapidement et facilement des modèles de machine learning (ML). SageMaker facilite chaque étape du processus de machine learning afin de rendre plus aisé le développement de modèles de haute qualité.
Le développement traditionnel de machine learning est un processus complexe, onéreux et itératif, qui peut être encore compliqué par l’absence d’outils intégrés qui couvrent l’ensemble du flux de travail. Il est donc nécessaire de relier les outils et les flux de travail, ce qui prend du temps et génère des erreurs. SageMaker apporte une solution à ce problème en fournissant tous les composants utilisés pour le machine learning dans une unique boîte à outils. Ainsi, les modèles arrivent en phase de production plus rapidement, avec moins d’effort et à des coûts réduits.
Création de modèles de machine learning
EXCLUSIVEMENT SUR AMAZON SAGEMAKER
Améliorez la productivité en utilisant Amazon SageMaker Studio, le premier environnement de développement entièrement intégré (IDE, Integrated Development Environment) pour le machine learning
Amazon SageMaker Studio fournit une interface visuelle unique, basée sur le Web, qui vous permet de mettre en œuvre toutes les étapes du développement de machine learning. Grâce à SageMaker Studio, vous avez un accès, un contrôle et une visibilité complets sur chaque étape nécessaire à la création, la formation et le déploiement de modèles. Vous pouvez télécharger des données, créer des blocs-notes, former et régler des modèles, faire des aller-retours entre les étapes pour ajuster les expériences, comparer les résultats et déployer les modèles en production, en les faisant rapidement et dans le même endroit, ce qui augmente votre productivité. Toutes les activités de développement ML, y compris les blocs-notes, la gestion des expériences, la création automatique de modèles, le débogage et la détection de dérive de modèles peuvent être effectuées dans l'interface visuelle unifiée de SageMaker Studio.
Utilisation d’un environnement de développement intégré (EDI) pour le développement de machine learning Par exemple, vous pouvez actualiser des modèles à l’intérieur d’un notebook afin de déterminer l’impact des modifications sur la qualité du modèle, en affichant côte-à-côte votre notebook et les expériences de formation.
Utilisation d’un environnement de développement intégré (EDI) pour le développement de machine learning Par exemple, vous pouvez actualiser des modèles à l’intérieur d’un notebook afin de déterminer l’impact des modifications sur la qualité du modèle, en affichant côte-à-côte votre notebook et les expériences de formation.
EXCLUSIVEMENT SUR AMAZON SAGEMAKER
Créez et collaborez plus vite grâce aux Notebooks Amazon SageMaker Studio
Il est fastidieux de gérer des instances de calcul pour visualiser, exécuter ou partager un notebook. Les blocs-notes Amazon SageMaker Studio sont des blocs-notes Jupyter en un clic qui peuvent être démarrés rapidement. Les ressources de calcul sous-jacentes sont entièrement élastiques, vous pouvez donc facilement composer les ressources disponibles ou les diminuer, et les modifications ont lieu automatiquement en arrière-plan sans interrompre votre travail. SageMaker permet également le partage automatique des blocs-notes en un clic. Vous pouvez facilement partager des blocs-notes avec d'autres personnes, et elles recevront exactement le même bloc-notes, enregistré au même endroit.
Vous avez le choix parmi des douzaines de notebooks prédéfinis dans SageMaker pour différentes utilisations. Pour faciliter une mise en route rapide, vous disposez également de centaines d’algorithmes et de modèles préformés sur AWS Marketplace.
Pour reproduire le code du notebook, générez un lien partageable sans avoir besoin de rechercher les dépendances manuellement.
Pour reproduire le code du notebook, générez un lien partageable sans avoir besoin de rechercher les dépendances manuellement.
EXCLUSIVEMENT SUR AMAZON SAGEMAKER
Grâce à Amazon SageMaker Autopilot, créez, formez et réglez vos modèles automatiquement tout en gardant une visibilité et un contrôle complets.
Amazon SageMaker Autopilot est la première solution de machine learning automatisé du secteur qui vous offre un contrôle et une visibilité complets sur vos modèles de machine learning. Les approches traditionnelles du machine learning automatisé ne vous donnent pas de visibilité sur les données ou la logique qui ont été utilisés pour la création du modèle. Par conséquent, si le modèle se révèle médiocre, il n’y aucun moyen de le faire évoluer. De plus, vous n’avez pas la possibilité de faire des compromis, par exemple de sacrifier de la précision pour améliorer la rapidité des prédictions, puisque les solutions traditionnelles de machine learning automatisé ne fournissent qu’un seul modèle.
SageMaker Autopilot inspecte automatiquement les données brutes, applique les processeurs de caractéristiques, sélectionne la meilleure combinaison d’algorithmes, forme et règle de multiples modèles, suit leurs performances et classe les modèles selon leur performance, le tout en quelques clics. Le résultat : le modèle le plus performant qui puisse être déployé, en un temps infiniment plus court que celui normalement requis pour former le modèle. Vous avez une visibilité complète sur le processus de création du modèle et sur son contenu, et SageMaker Autopilot s’intègre dans Amazon SageMaker Studio. Vous pouvez explorer jusqu’à 50 modèles différents, générés par SageMaker Autopilot dans Amazon SageMaker Studio. Il est donc facile de choisir le modèle qui convient le mieux à votre utilisation. SageMaker Autopilot peut être utilisé sans expérience particulière en matière de machine learning pour produire un modèle en toute simplicité. Il peut également être utilisé par des développeurs expérimentés pour développer rapidement un modèle qui servira de base de travail à leurs équipes.
Créez automatiquement des modèles de machine learning et choisissez celui qui correspond le mieux à votre besoin. Par exemple, examinez le leaderboard pour évaluer les performances de chaque option afin de sélectionner le modèle qui correspond à vos critères, en termes de précision et de temps de latence.
Créez automatiquement des modèles de machine learning et choisissez celui qui correspond le mieux à votre besoin. Par exemple, examinez le leaderboard pour évaluer les performances de chaque option afin de sélectionner le modèle qui correspond à vos critères, en termes de précision et de temps de latence.
EXCLUSIVEMENT SUR AMAZON SAGEMAKER
Réduisez les coûts d’étiquetage des données jusqu’à 70 % en utilisant Amazon SageMaker Ground Truth
Les modèles de machine learning performants reposent sur de larges volumes de données de formation de haute qualité. Cependant, le processus de création des données de formation nécessaires à la construction de ces modèles est souvent onéreux, compliqué et prend beaucoup de temps. Amazon SageMaker Ground Truth permet de créer et de gérer rapidement des ensembles de données de formation de haute précision. Ground Truth offre un accès facile aux étiqueteurs grâce à Amazon Mechanical Turk et leur fournit des interfaces et des flux de travail prédéfinis pour les tâches d'étiquetage courantes. Vous pouvez également utiliser vos propres étiqueteurs, ou faire appel à des fournisseurs recommandés par Amazon sur AWS Marketplace. En outre, Ground Truth apprend en permanence des étiquettes humaines pour effectuer des annotations automatiques de haute qualité, afin de réduire considérablement les coûts d'étiquetage.
70 %
Amazon SageMaker prend en charge les cadres de deep learning de premier plan
Les cadres pris en charge incluent TensorFlow, PyTorch, Apache MXNet, Chainer, Keras, Gluon, Horovod, Scikit-learn et Deep Graph Library.
Formation des modèles de machine learning
EXCLUSIVEMENT SUR AMAZON SAGEMAKER
Organisez, suivez et évaluez les sessions de formation grâce à Amazon SageMaker Experiments
Amazon SageMaker Experiments vous permet d’organiser et de suivre les itérations sur les modèles de machine learning. La formation d’un modèle de machine learning demande de nombreuses itérations pour isoler et mesurer l’impact des modifications dans les ensembles de données, des versions d’algorithmes et des paramètres du modèle. Au cours de ces itérations, vous produisez des centaines d’artefacts : des modèles, des données de formation, des configurations de plateforme, des réglages de paramètres et des mesures de formation. Pour suivre ses expériences, il est courant d’utiliser des solutions souvent lourdes, comme des feuilles de calcul.
SageMaker Experiments vous permet de gérer les itérations en capturant automatiquement les paramètres d’entrée, les configuration et les résultats, puis en les stockant en tant qu’« expériences ». Vous pouvez travailler dans l’interface visuelle de SageMaker Studio, où vous pouvez parcourir les expériences actives, rechercher les expériences précédentes à l’aide de leurs caractéristiques, évaluer les expériences précédentes avec leurs résultats et établir des comparaisons visuelles entre les expériences.
Suivez des milliers d’expériences de formation pour comprendre la précision de votre modèle. Par exemple, visualisez sur un graphe la manière dont différents ensembles de données de séries temporelles impactent la précision du modèle.
Suivez des milliers d’expériences de formation pour comprendre la précision de votre modèle. Par exemple, visualisez sur un graphique la manière dont différents ensembles de données de séries temporelles impactent la précision du modèle.
EXCLUSIVEMENT SUR AMAZON SAGEMAKER
Analyser, déboguer et résoudre les problèmes de machine learning grâce à Amazon SageMaker Debugger
Le processus de formation ML est en grande partie opaque, et la formation d'un modèle peut être longue et il peut être long et difficile d’optimiser le temps nécessaire à la formation d’un modèle. Par conséquent, il est souvent difficile d’interpréter et d’expliquer les modèles. Amazon SageMaker Debugger rend le processus de formation plus transparent, en prenant des mesures automatiquement et en temps réel au cours de la formation : formation et validation, matrices de confusion et gradients d’apprentissage. Ces mesures permettent d’améliorer la précision du modèle.
Les mesures prises par Amazon SageMaker Debugger peuvent être visualisées dans SageMaker Studio, afin de faciliter leur compréhension. SageMaker Debugger peut également générer des avertissements et des conseils de correction lorsque des problèmes de formation sont détectés. Grâce à SageMaker Debugger, vous pouvez interpréter la manière dont un modèle fonctionne, ce qui représente un premier pas vers l’explicabilité du modèle.
Analysez et déboguez les anomalies. Par exemple, la formation d’un réseau de neurones s’interrompt si le système détecte que les gradients sont en train de disparaître. SageMaker Debugger identifie la disparition des gradients afin que vous puissiez y remédier avant que la formation ne soit impactée.
Analysez et déboguez les anomalies. Par exemple, la formation d’un réseau de neurones s’interrompt si le système détecte que les gradients sont en train de disparaître. SageMaker Debugger identifie la disparition des gradients afin que vous puissiez y remédier avant que la formation ne soit impactée.
AWS est l'endroit idéal pour exécuter TensorFlow
Les optimisations AWS TensorFlow offrent une efficacité de mise à l’échelle quasi linéaire sur des centaines de GPU afin de s’adapter à l’échelle du cloud et sans nécessiter de traitement excessif. Le résultat : il est possible de former des modèles plus précis et plus sophistiqués en beaucoup moins de temps.
90 %
Des coûts de formation réduits de 90 %
Amazon SageMaker fournit Managed Spot Training pour vous aider à réduire les coûts de formation 90 %. Cette solution utilise des instances Spot Amazon EC2, qui constitue une réserve de capacité de calcul d’AWS. Les tâches de formation sont exécutées automatiquement lorsque la capacité de calcul devient disponible, et sont résilientes aux interruptions causées par des modifications dans la capacité. Vous réduisez les coûts grâce à la flexibilité dans le temps d’exécution des tâches de formation.
90 %
Déploiement de modèles de machine learning
Déploiement en un clic
Amazon SageMaker facilite le déploiement en production du modèle formé : en un seul clic,vous pouvez commencer à générer des prédictions concernant les données en temps réel ou par lot. En un clic,vous pouvez déployer vos modèles sur des instances de machine learning Amazon à scalabilité automatique dans de nombreuses zones de disponibilité, pour obtenir une forte redondance. Spécifiez simplement le type d'instances et le nombre minimum et maximum souhaité. SageMaker s'occupe du reste. SageMaker lance les instances, déploie votre modèle et configure le point de terminaison HTTPS sécurisé pour votre application. Votre application doit simplement inclure un appel d'API à ce point de terminaison pour obtenir une inférence à faible latence et haut débit. Cette architecture vous permet d'intégrer en quelques minutes vos nouveaux modèles dans votre application, car pour modifier le modèle, il n'est plus nécessaire de changer le code de l'application.
EXCLUSIVEMENT SUR AMAZON SAGEMAKER
Maintenez la précision de vos modèles au cours du temps grâce à Amazon SageMaker Model Monitor
Amazon SageMaker Model Monitor permet aux développeurs de détecter et de corriger les dérives de concept. Actuellement, l’un des facteurs les plus importants qui peuvent affecter la précision des modèles déployés est un décalage entre les données utilisées pour générer des prédictions et les données utilisées pour la formation du modèle. Par exemple, un changement dans les conditions économiques peut impacter les taux d’intérêt, ce qui affecte les prédictions d’achats immobiliers. Ce phénomène est appelé dérive de concept et a pour conséquence que les comportements sur lesquels se base le modèle pour faire des prédictions ne s’appliquent plus. SageMaker Model Monitor détecte automatiquement les dérives de concept dans les modèles déployés et fournit des alertes détaillées qui aident à identifier la source du problème. Tous les modèles formés dans SageMaker émettent automatiquement des mesures clés qui peuvent être collectées et visualisées dans SageMaker Studio. Depuis SageMaker Studio, vous pouvez configurer les données à collecter, les modalités de visualisation, et quand vous souhaitez recevoir des alertes.
Suivez les modèles en production. Par exemple, visualisez des graphiques représentant les caractéristiques importantes des modèles et des résumés de statistiques, observez leur évolution et comparez avec les caractéristiques utilisées lors de la formation. Certaines caractéristiques dérivent lorsque le modèle s’exécute en production, ce qui peut indiquer que vous devez former votre modèle à nouveau.
Suivez les modèles en production. Par exemple, visualisez des graphiques représentant les caractéristiques importantes des modèles et des résumés de statistiques, observez leur évolution et comparez avec les caractéristiques utilisées lors de la formation. Certaines caractéristiques dérivent lorsque le modèle s’exécute en production, ce qui peut indiquer que vous devez former votre modèle à nouveau.
EXCLUSIVEMENT SUR AMAZON SAGEMAKER
Validez les prédictions grâce à une analyse humaine
Dans de nombreuses applications de machine learning, les utilisateurs doivent examiner les prédictions de faible confiance pour s’assurer de l’exactitude des résultats. Cependant, l’intégration d’une analyse humaine dans le flux de travail peut prendre beaucoup de temps et augmenter les coûts, car cela implique des processus complexes. Amazon Augmented AI facilite la création des flux de travail requis pour l'analyse humaine des prédictions de machine learning. Augmented AI fournit des flux de travail intégrant l’analyse humaine pour les utilisations courantes de machine learning. Vous pouvez également créer vos propres flux de travail pour les modèles créés avec Amazon SageMaker. Grâce à Augmented AI, vous pouvez autoriser des utilisateurs à intervenir lorsqu’un modèle ne peut pas faire de prédictions de haute confiance.
Utilisez Kubeflow Pipelines pour l'orchestration et la planification des tâches
Amazon SageMaker Components for Kubeflow Pipelines, désormais disponible en version préliminaire, consiste en des modules d'extension open source qui vous permettent d'utiliser Kubeflow Pipelines pour définir vos flux de travail de machine learning et d'utiliser SageMaker pour les étapes d'étiquetage des données, d'entraînement et d'inférence. Kubeflow Pipelines est un module complémentaire pour Kubeflow qui vous permet de développer et de déployer des pipelines de machine learning de bout en bout portables et évolutives. Cependant, lorsqu'elles utilisent Kubeflow Pipelines, les équipes d'opérateurs de machine learning doivent gérer un cluster Kubernetes avec des instances de CPU et de GPU et maintenir son utilisation élevée en permanence pour réduire les frais d'utilisation. Maximisez l'utilisation d'un cluster à travers toutes les équipes de science des données est un défi et ajoute des frais opérationnels aux équipes d'opération de machine learning. Comme alternative à un cluster Kubernetes optimisé pour le machine learning, avec Amazon SageMaker Components for Kubeflow Pipelines vous pouvez tirer parti des fonctionnalités SageMaker performantes comme l'étiquetage des données, le réglage des hyperparamètres à large échelle entièrement géré et les tâches d'entraînement distribuées, le déploiement de modèles en un seul clic sécurisé et l'entraînement économique via les instances Spot EC2 sans devoir configurer et gérer de clusters Kubernetes pour exécuter spécifiquement les tâches de machine learning.
Intégrez Kubernetes pour l'orchestration et la gestion
Kubernetes est un système open source conçu pour automatiser le déploiement, le dimensionnement et la gestion des applications conteneurisées. De nombreux clients veulent utiliser les capacités de gestion intégrée d'Amazon SageMaker pour le machine learning, mais ils veulent également que les équipes travaillant sur les plateformes et les infrastructures continuent à utiliser Kubernetes pour l'orchestration et la gestion des pipelines. SageMaker permet aux utilisateurs d'entraîner et de déployer des modèles dans SageMaker en utilisant les opérateurs de Kubernetes.
Réduisez les coûts d'inférence de machine learning jusqu'à 75 % grâce à Amazon Elastic Inference
Dans la plupart des applications de deep learning, l'établissement de prévisions à l'aide d'un modèle formé (un processus appelé inférence) peut être un facteur important dans les coûts de calcul de l'application. Une instance GPU complète est peut-être trop importante pour l’inférence du modèle. Il peut également être difficile d'optimiser les ressources nécessaires au GPU, à l'UC et à la mémoire de votre application de deep learning. Amazon Elastic Inference résout ces problèmes en vous permettant d'associer la quantité appropriée d'accélération d'inférence alimentée par GPU à tout type d'instance Amazon EC2 ou Amazon SageMaker, ou à une tâche Amazon ECS sans modification de code. Avec Elastic Inference, vous pouvez désormais choisir le type d'instance le mieux adapté aux besoins globaux de votre application en matière de processeur et de mémoire, puis configurer séparément la quantité d'accélération d'inférence dont vous avez besoin pour utiliser efficacement les ressources et réduire les coûts d'exécution d'inférence.
75 %
Bénéficiez de hautes performances et d'une inférence à prix abordable dans le cloud
Grâce à Amazon SageMaker, vous pouvez déployer vos modèles de machine learning entraînés sur des instances Amazon Inf1, construites à l'aide de la puce AWS Inferentia, afin de fournir une inférence hautes performances à faible coût. Les instances Inf1 vous permettent d'exécuter des applications d'inférence de machine learning à grande échelle comme la reconnaissance d'images, la reconnaissance vocale, le traitement du langage naturel, la personnalisation et la détection des fraudes. Avec Amazon SageMaker Neo, vous pouvez compiler vos modèles de machine learning formés pour s'exécuter de manière optimale sur les instances Inf1 et déployer aisément les modèles compilés sur les instances Inf1 pour une inférence en temps réel.
Études de cas
Commencez à créer avec Amazon SageMaker dans AWS Management Console.