Amazon SageMaker
Créez, formez et déployez des modèles d'apprentissage automatique à grande échelle
Amazon SageMaker est une plateforme entièrement gérée permettant aux développeurs et aux spécialistes des données de créer, former et déployer rapidement et facilement des modèles d'apprentissage automatique à n'importe quelle échelle. Amazon SageMaker supprime tous les obstacles qui ralentissent généralement les développeurs désireux d'utiliser l'apprentissage automatique.
Pour la plupart des développeurs, l'apprentissage automatique semble souvent beaucoup plus difficile qu'il ne devrait, car le processus consistant à créer et à former des modèles, puis à les déployer en production est trop complexe et trop lent. Tout d'abord, vous devez collecter et préparer vos données de formation pour découvrir quels éléments de votre ensemble de données sont importants. Vous devez ensuite sélectionner l'algorithme et le framework que vous utiliserez. Après avoir déterminé l'approche à adopter, vous devez apprendre au modèle comment réaliser des prédictions en le formant, ce qui exige de nombreux calculs. Puis, vous devez régler le modèle afin qu'il offre les meilleures prédictions possibles, une tâche souvent manuelle et fastidieuse. Une fois le modèle entièrement formé, vous devez l'intégrer dans votre application et déployer celle-ci sur l'infrastructure qui s'adaptera. Tout cela exige de nombreuses compétences en la matière, l'accès à de grandes quantités de ressources de calcul et de stockage et beaucoup de temps pour tester et optimiser chaque partie du processus. Au bout du compte, il n'est pas surprenant que cela semble hors de portée de la plupart des développeurs.
Amazon SageMaker élimine la complexité inhérente à chacune de ces étapes. Amazon SageMaker inclut des modules qui peuvent être utilisés ensemble ou séparément pour créer, former et déployer vos modèles d'apprentissage automatique.
Fonctionnement
Création
Amazon SageMaker facilite la création de modèles d'apprentissage automatique et les prépare pour la formation en vous fournissant tout ce dont vous avez besoin pour vous connecter rapidement à vos données de formation et pour sélectionner et optimiser les meilleurs algorithme et framework pour votre application. Amazon SageMaker inclut des notebooks Jupyter hébergés qui simplifient l'exploration et la visualisation de vos données de formation stockées dans Amazon S3. Vous pouvez vous connecter directement aux données dans S3 ou utiliser AWS Glue pour déplacer les données depuis Amazon RDS, Amazon DynamoDB et Amazon Redshift vers S3 en vue de leur analyse dans votre notebook.
Pour vous aider à sélectionner votre algorithme, Amazon SageMaker inclut les algorithmes d'apprentissage machine les plus courants qui ont été préinstallés et optimisés pour proposer des performances jusqu'à 10 fois supérieures à celles qu'offre ailleurs l'exécution de ces algorithmes. Amazon SageMaker est également préconfiguré pour exécuter TensorFlow, Apache MXNet et Chainer dans des conteneurs Docker. Vous pouvez également télécharger ces conteneurs open source sur votre environnement local et utiliser le kit SDK Amazon SageMaker Python pour tester vos scripts en mode local avant d'utiliser Amazon SageMaker pour la formation ou l'hébergement de votre modèle en production. Vous avez aussi la possibilité d'utiliser votre propre framework.
Formation
Vous pouvez commencer la formation de votre modèle d'un simple clic dans la console Amazon SageMaker. Amazon SageMaker gère automatiquement l'ensemble de l'infrastructure sous-jacente et peut aisément s'adapter pour former les modèles à l'échelle du pétaoctet. Pour que le processus de formation soit encore plus rapide et plus simple, Amazon SageMaker peut automatiquement régler votre modèle afin d'obtenir la plus grande précision possible.
Déploiement
Une fois votre modèle entraîné et réglé, Amazon SageMaker facilite le déploiement en production afin que vous puissiez commencer à générer des prédictions concernant les données en temps réel ou par lot (ce processus est appelé « inférence »). Amazon SageMaker déploie votre modèle sur un cluster à évolutivité automatique d'instances ML Amazon SageMaker réparties sur plusieurs zones de disponibilité pour offrir de hautes performances et une disponibilité élevée. Amazon SageMaker inclut aussi des fonctionnalités de test A/B intégrées pour vous aider à tester votre modèle et à expérimenter différentes versions afin d'obtenir les meilleurs résultats.
Dans la mesure où Amazon SageMaker s'occupe de la lourde charge de l'apprentissage automatique, vous pouvez créer, former et déployer vos modèles d'apprentissage automatique rapidement et facilement.
Avantages
Accélération de la mise en production avec l'apprentissage automatique
Amazon SageMaker réduit considérablement le temps nécessaire à la formation, au réglage et au déploiement des modèles d'apprentissage automatique. Amazon SageMaker gère et automatise toutes les techniques de formation et de réglage avancées pour que vous puissiez rapidement mettre vos modèles en production.
Prise en charge de tous les frameworks et algorithmes
Amazon SageMaker prend en charge tous les algorithmes et frameworks d'apprentissage automatique pour vous permettre d'utiliser la technologie que vous utilisez habituellement. Les frameworks Apache MXNet, TensorFlow et Chainer sont préinstallés, et Amazon SageMaker intègre un large éventail d'algorithmes d'apprentissage automatique performants. Si vous souhaitez former des modèles avec un autre framework ou algorithme, vous pouvez utiliser votre propre framework ou algorithme dans un conteneur Docker.
Formation et déploiement en un clic
Avec Amazon SageMaker, vous pouvez commencer la formation de votre modèle d'un simple clic dans la console ou à l'aide d'un simple appel d'API. Lorsque votre modèle est formé et prêt à être déployé, vous pouvez le lancer en un clic dans la console Amazon SageMaker.
Intégration facile à votre flux de travail existant
Amazon SageMaker comprend trois modules qui peuvent être utilisés ensemble ou séparément dans le cadre d'un flux de travail d'apprentissage automatique déjà mis en place.
Accès facile aux modèles formés
Amazon SageMaker simplifie l'intégration des modèles d'apprentissage automatique dans vos applications en fournissant un point de terminaison HTTPS qui peut être appelé depuis n'importe quelle application.
Optimisé pour la vitesse
Amazon SageMaker intègre les dernières versions de TensorFlow, d'Apache MXNet et de Chainer, avec la prise en charge de bibliothèques CUDA9 pour des performances maximales avec les GPU NVIDIA. Avec des instances P3 Amazon SageMaker exécutant des GPU NVIDIA Volta V100, Amazon SageMaker vous permet de former des modèles d'apprentissage profond à une vitesse sans précédent.
Clients SageMaker
« En tant que premier fournisseur au monde d'analyses, de données et d'imagerie terrestre de haute qualité, DigitalGlobe travaille avec d'énormes volumes de données chaque jour. DigitalGlobe permet aux utilisateurs de trouver et d'accéder à une bibliothèque d'images de 100 Po, ainsi que d'y réaliser plus facilement des calculs. Cette bibliothèque se trouve sur le cloud AWS afin d'appliquer le deep learning à l'imagerie satellite. Nous prévoyons d'utiliser Amazon SageMaker pour entraîner des modèles avec plusieurs pétaoctets d'ensembles de données d'imagerie d'observation de la Terre, en utilisant des blocs-notes Jupyter. Ainsi, les utilisateurs de la plate-forme Geospatial Big Data (GBDX) de DigitalGlobe ont juste à appuyer sur un bouton, créer un modèle et déployer celui-ci dans un environnement distribué scalable à grande échelle. »
« Depuis plus de 25 ans, nous développons des capacités avancées d'apprentissage machine afin d'extraire, de connecter, d'améliorer, d'organiser et de diffuser des informations à nos clients, dans le but de leur permettre de simplifier leur travail et d'en tirer plus de valeur. Avec Amazon SageMaker, nous avons pu concevoir une fonction de traitement du langage naturel dans le cadre d'une application de question-réponse. Notre solution a nécessité plusieurs itérations de configurations d'apprentissage profond à grande échelle en utilisant les capacités d'Amazon SageMaker. »
« Nous sommes concentrés sur la recherche d'un moyen d'accélérer le recrutement, et nous entraînons nos algorithmes d'apprentissage machine avec des centaines de millions d'activités transactionnelles historiques afin de fournir les offres d'emploi les plus pertinentes le plus rapidement possible. Amazon SageMaker nous a permis de surmonter des obstacles que nous rencontrions dans la gestion des workflows d'apprentissage machine et d'entraîner, d'évaluer et de déployer des modèles d'une manière flexible. De plus, la modularité d'Amazon SageMaker offre la possibilité de concevoir et de créer des modèles indépendants, et cette fonctionnalité est particulièrement intéressante pour ZipRecruiter. »
« Chez Hotels.com, nous cherchons toujours à être plus rapides, à tirer profit des dernières technologies et à rester innovants. Avec Amazon SageMaker, la formation distribuée, les algorithmes optimisés et les fonctions d'hyperparamètre intégrées devraient permettre à mon équipe de concevoir rapidement des modèles plus précis sur nos plus grands volumes de données, réduisant ainsi le temps considérable dont nous avions besoin pour faire passer un modèle à la production. Il s'agit simplement d'un appel d'API. Amazon SageMaker réduit de manière significative la complexité de l'apprentissage machine, et nous sommes ainsi en mesure de créer rapidement une meilleure expérience pour nos clients. »
Matt Frye, VP et directeur de la science des données chez Hotels.com et Expedia Affiliate Network
« Avec Amazon SageMaker, nous pouvons accélérer nos initiatives d'intelligence artificielle à grande échelle en concevant et en déployant nos algorithmes sur la plate-forme. Nous allons créer de nouveaux algorithmes d'apprentissage machine et d'IA à grande échelle, et les déployer sur cette plate-forme pour résoudre des problèmes complexes et contribuer à la prospérité de nos clients. »
« Amazon SageMaker va baisser nos coûts et augmenter notre rapidité en ce qui concerne notre utilisation de l'apprentissage machine. Avec Amazon SageMaker, nous pouvons réaliser la transition depuis notre déploiement TensorFlow existant et autogéré vers un service entièrement géré. Amazon SageMaker facilite également l'accès à d'autres frameworks d'apprentissage profond populaires, tout en gérant l'infrastructure pour créer, entraîner et diffuser nos modèles. »
David Bernstein, responsable des technologies stratégiques chez Zendesk
Entraînez vos modèles avec n'importe quel framework d'apprentissage profond
Avec Amazon SageMaker, vous pouvez utiliser le framework d'apprentissage profond de votre choix pour la formation de modèle. Apportez simplement votre propre conteneur Docker avec vos bibliothèques et frameworks préférés comme Caffe2, PyTorch, Microsoft Cognitive Toolkit (CNTK), Chainer ouTorch, et Amazon SageMaker gèrera l'infrastructure sous-jacente pour former vos modèles.
Cas d'utilisation
Ciblage publicitaire
L'association d'Amazon SageMaker à d'autres services AWS permet d'optimiser le retour sur investissement publicitaire. Amazon SageMaker peut former et déployer facilement des modèles d'apprentissage automatique capables de cibler plus efficacement les publicités en ligne, améliorant ainsi l'engagement et la conversion des clients. Les modèles de systèmes de recommandation, de prévisions de taux de clics, de segmentation de la clientèle et d'augmentation de la valeur vie peuvent tous être formés dans l'environnement distribué sans serveur d'Amazon SageMaker. Une fois créés, les modèles peuvent être facilement hébergés dans des points de terminaison à faible latence et à scalabilité automatique, ou transférés vers d'autres systèmes d'enchères en temps réel.
Prévisions de défaut de crédit
Amazon SageMaker simplifie les prévisions quant à la probabilité de défaut de crédit, un problème fréquent avec l'apprentissage automatique. Amazon SageMaker s'intègre parfaitement aux frameworks d'analyse existants tels qu'Amazon Redshift, Amazon EMR et AWS Glue, ce qui vous permet de publier de grands ensembles de données variés dans un lac de données Amazon S3, puis de les transformer rapidement, de créer des modèles d'apprentissage automatique et de les héberger immédiatement pour profiter de prévisions en ligne.
IoT et apprentissage automatique industriels
L'IoT et l'apprentissage automatique industriels peuvent permettre d'établir des prévisions en temps réel pour anticiper les pannes de machine ou prévoir des programmes d'entretien, afin d'obtenir de plus hauts niveaux d'efficacité. Un jumeau numérique, ou réplica, d'actifs, de processus ou de systèmes physiques peut être généré comme modèle pour prédire une maintenance préventive ou pour optimiser le résultat de machines complexes ou de processus industriels. Le modèle peut être mis à jour en continu pour « apprendre » presque en temps réel de tous les changements pouvant se produire.
Chaîne d'approvisionnement et prévision de la demande
Amazon SageMaker fournit l'infrastructure et les algorithmes nécessaires pour développer des prévisions de vente individuelles pour chaque produit dans les paramètres e-commerce les plus larges. Avec juste des séries chronologiques et des données de catégorie produit, Amazon SageMaker apprend des saisons, des tendances et des similarités entre produits pour fournir des prévisions précises, même pour de nouveaux articles.
Prédiction du taux de clics
Amazon SageMaker offre des implémentations des algorithmes XGboost sur machine simple et sur CPU distribué. Ces algorithmes sont utiles dans beaucoup de cas de classification, de régression et de classement, tels qu'une prédiction du taux de clics pour une publicité. Les systèmes de prédiction des clics sont centraux pour la plupart des systèmes de publicité en ligne, car il est crucial de prédire un taux de clics (CTR) le plus précis possible, afin d'offrir la meilleure expérience possible aux consommateurs. Avec l'algorithme XGBoost, vous pouvez exécuter un prédicteur en temps réel et recevoir un résultat de prédiction sous forme de score. Vous pouvez ensuite déterminer si vous diffusez les publicités d'un publicitaire en particulier et améliorer les prévisions de CTR des publicités affichées.
Prévision de la qualité du contenu
Amazon SageMaker dispose d'un certain nombre d'outils pour prétraiter et détecter des structures au sein d'un texte, en utilisant ces informations pour réaliser des prédictions sur la qualité du contenu. Vous pouvez générer des incorporations de mots pour trouver des mots sémantiquement et syntaxiquement similaires dans de grands volumes de texte et regrouper les mots similaires pour plus d'homogénéité. Puis, vous pouvez mettre en cluster les documents similaires de manière indépendante avec les modèles de rubrique avancés d'Amazon SageMaker. Enfin, vous concevez des modèles de classification indépendants par cluster portant sur les données de mots regroupés, réduites d'un point de vue dimensionnel, pour déterminer si les documents ont besoin d'être modérés.
En savoir plus sur Amazon SageMaker
