Questions fréquentes (FAQ) sur Amazon SageMaker

Q : Qu'est-ce qu'Amazon SageMaker ?

Amazon SageMaker est un service entièrement géré permettant de préparer les données et construire, entraîner et de déployer rapidement et facilement des modèles de machine learning (ML) pour tous les cas d'utilisation avec une infrastructure, des outils et des flux entièrement gérés.

Q : Dans quelles régions le service Amazon SageMaker est-il disponible ?

Pour obtenir la liste des régions AWS dans lesquelles le service Amazon SageMaker est pris en charge, consultez la page des services régionaux AWS. Pour en savoir plus, consultez régions et points de terminaison du guide de références générales AWS.

Q : Quelle est la disponibilité du service Amazon SageMaker ?

Le service Amazon SageMaker est conçu pour offrir une haute disponibilité. Il n'y a ni fenêtre de maintenance ni temps d'arrêt programmé. Les API SageMaker s'exécutent dans les centres de données fiables et hautement disponibles d'Amazon. En outre, elles offrent une réplication de piles de services configurée dans trois installations au sein de chaque région AWS afin de garantir une tolérance aux pannes en cas de panne du serveur ou au niveau de la zone de disponibilité.

Q : Comment le service Amazon SageMaker sécurise-t-il mon code ?

Amazon SageMaker stocke votre code dans des volumes de stockage de machine learning, sécurisés par des groupes de sécurité et éventuellement chiffrés au repos.

Q : Quelles mesures de sécurité sont intégrées au service Amazon SageMaker ?

Amazon SageMaker garantit que les artefacts de modèles d'apprentissage automatique et d'autres artefacts du système sont chiffrés en transit et au repos. Les requêtes sont envoyées à l'API et à la console SageMaker par le biais d'une connexion sécurisée (SSL). Vous transmettez des rôles AWS Identity and Access Management à SageMaker afin d’accorder des autorisations d'accès aux ressources en votre nom à des fins d'entraînement et de déploiement. Vous pouvez utiliser des compartiments Amazon Simple Storage Service (Amazon S3) chiffrés pour les artefacts et les données de modèles, ainsi que pour transmettre une clé AWS Key Management Service (KMS) à des blocs-notes, des tâches d'entraînement et des points de terminaison SageMaker, afin de chiffrer le volume de stockage de ML attaché. Amazon SageMaker prend également en charge Amazon Virtual Private Cloud (VPC) et AWS PrivateLink.

Q : Amazon SageMaker utilise-t-il ou partage-t-il des modèles, des données d'entraînement ou des algorithmes ?

Amazon SageMaker n'utilise pas et ne partage pas des modèles, des données d'entraînement ou des algorithmes. Nous sommes conscients du fait que, pour nos clients, la confidentialité et la sécurité des données sont primordiales. C'est pourquoi avec AWS, vous restez propriétaire de votre contenu et vous en gardez le contrôle grâce à des outils simples et puissants qui permettent de déterminer où votre contenu sera stocké, de sécuriser votre contenu en transit et au repos, ainsi que de gérer l'accès aux services et ressources AWS pour vos utilisateurs. Nous mettons également en œuvre un système élaboré responsable des contrôles techniques et physiques, visant à éviter tout accès ou toute divulgation non autorisés du contenu des clients. En tant que client, vous restez propriétaire de votre contenu et vous sélectionnez quels services AWS peuvent traiter, stocker et héberger votre contenu. Nous ne consultons pas votre contenu à quelque fin que ce soit sans votre consentement.

Q : Comment Amazon SageMaker m'est-il facturé ?

Vous payez les ressources de calcul, de stockage et de traitement des données d'apprentissage automatique que vous utilisez pour héberger le bloc-notes, entraîner le modèle, réaliser des prédictions et journaliser les sorties. Amazon SageMaker vous permet de sélectionner le nombre et le type d'instances utilisées pour le bloc-notes hébergé, l'entraînement et l'hébergement de modèles. Vous payez uniquement pour ce que vous utilisez et en fonction de votre consommation ; il n'y a pas de frais minimums et aucun engagement initial n'est requis. Pour en savoir plus, reportez-vous à la page de tarification d'Amazon SageMaker et au calculateur de tarification d'Amazon SageMaker.

Q : Comment optimiser mes coûts Amazon SageMaker, par exemple en détectant et en arrêtant les ressources inactives afin d'éviter des frais inutiles ?

Différentes bonnes pratiques vous permettent d'optimiser l'utilisation de vos ressources Amazon SageMaker. Certaines approches impliquent des optimisations de configurations, d'autres des solutions programmatiques. Vous trouverez un guide complet sur ce concept, avec didacticiels visuels et exemples de code, dans cet article de blog.

Q : Et si je possède mon propre bloc-notes, ma propre formation ou mon propre environnement d'hébergement ?

Amazon SageMaker fournit un flux de travail complet de bout en bout, mais vous pouvez à utiliser vos outils existants avec le service. Vous pouvez facilement transférer les résultats de chaque étape vers et depuis SageMaker en fonction de vos besoins métier.

Q : R est-il pris en charge par Amazon SageMaker ?

Oui, R est pris en charge par Amazon SageMaker. Vous pouvez utiliser R dans les instances de blocs-notes SageMaker, qui incluent un noyau R pré-installé et la bibliothèque réticulaire. Le réticulaire offre une interface R pour le kit SDK Python d'Amazon SageMaker, ce qui permet aux praticiens ML de créer, d'entraîner, de régler et de déployer des modèles R. 

Q : Comment puis-je rechercher des déséquilibres dans mon modèle ?

Amazon SageMaker Clarify contribue à l'amélioration de la transparence du modèle en détectant les biais statistiques dans l'ensemble du flux ML. SageMaker Clarify recherche les déséquilibres pendant la préparation des données, après l'entraînement et de manière continue, et comprend des outils destinés à faciliter l'explication des modèles ML et leurs prédictions. Les résultats peuvent être partagés via des rapports d'explicabilité.

Q : Quel type de biais Amazon SageMaker Clarify détecte-t-il ?

La mesure du biais dans les modèles ML est la première étape de l'atténuation du biais. Le biais peut être mesuré avant et après l'entraînement, ainsi que pour l'inférence d'un modèle déployé. Chaque mesure de biais correspond à une notion différente d'équité. Même la prise en compte de simples notions d'équité conduit à un trop grand nombre de mesures différentes applicables dans divers contextes. Nous devons choisir des notions et des métriques de biais valides pour l'application et la situation étudiées. SageMaker prend actuellement en charge le calcul de différentes métriques de biais pour les données d'entraînement (dans le cadre de la préparation des données SageMaker), pour le modèle entraîné (dans le cadre de Amazon SageMaker Experiments) et pour l'inférence d'un modèle déployé (dans le cadre de Amazon SageMaker Model Monitor). Par exemple, avant l'entraînement, nous fournissons des métriques pour vérifier si les données d'entraînement sont représentatives (c'est-à-dire si un groupe est sous représenté) et s'il existe des différences de distribution des étiquettes entre les groupes. Après l'entraînement ou pendant le déploiement, les métriques peuvent s'avérer utiles pour mesurer si (et dans quelle mesure) les performances du modèle diffèrent d'un groupe à l'autre. Par exemple, commencez par comparer les taux d'erreurs (la probabilité que la prédiction d'un modèle diffère de l'étiquette réelle), ou allez plus loin dans la précision (la probabilité qu'une prédiction positive soit correcte) et le rappel (la probabilité que le modèle étiquette correctement un exemple positif).

Q : Comment Amazon SageMaker Clarify peut-il améliorer l'explicabilité du modèle ?

Amazon SageMaker Clarify est intégré à Amazon SageMaker Experiments pour présenter un graphique de l'importance des caractéristiques détaillant l'importance de chaque entrée dans le processus global de prise de décision de votre modèle après son entraînement. Ces informations peuvent aider à déterminer si une entrée spécifique du modèle a plus d'influence qu'elle ne le devrait sur le comportement global du modèle. SageMaker Clarify fournit également des explications concernant chaque prédiction disponible via une API. 

Q : Qu'est-ce qu'Amazon SageMaker Studio ?

Amazon SageMaker Studio fournit une interface visuelle unique, basée sur le Web, qui vous permet de mettre en œuvre toutes les étapes du développement de machine learning. Grâce à SageMaker Studio, vous avez un accès, un contrôle et une visibilité complets sur chaque étape nécessaire à la préparation des données et à la construction, l'entraînement et le déploiement des modèles. Vous pouvez télécharger des données, créer des blocs-notes, entraîner et affiner des modèles, faire des aller-retours entre les étapes pour ajuster les expériences, comparer les résultats et déployer des modèles en production ; le tout rapidement et au même endroit, ce qui accroît votre productivité. Toutes les activités de développement ML peuvent être réalisées à l'intérieur de l'interface visuelle unifiée de SageMaker Studio, notamment les blocs-notes, la gestion d'expériences, la création automatique de modèles, le débogage et le profilage, et la détection de dérive des modèles.

Q : Qu'est-ce que RStudio sur Amazon SageMaker ?

RStudio sur Amazon SageMaker est le premier RStudio Workbench entièrement géré dans le cloud. Vous pouvez lancer rapidement l'environnement de développement intégré (IDE) RStudio et augmenter ou diminuer les ressources informatiques sous-jacentes sans interrompre votre travail, ce qui facilite la création de solutions de machine learning (ML) et d'analyse en R à grande échelle. Vous pouvez passer de l'IDE RStudio aux blocs-notes Amazon SageMaker Studio pour le développement R et Python en toute simplicité. L'ensemble de votre travail, y compris le code, les jeux de données, les référentiels et autres artefacts, est automatiquement synchronisé entre les deux environnements afin de réduire les changements de contexte et de stimuler la productivité.

Q : Comment la tarification d'Amazon SageMaker Studio fonctionne-t-elle ?

Amazon SageMaker Studio est disponible sans frais supplémentaires. Vous ne payez que les frais sous-jacents de calcul et de stockage pour les services que vous utilisez dans Amazon SageMaker Studio.

Q : Dans quelles régions le service Amazon SageMaker Studio est-il pris en charge ?

Les régions dans lesquelles Amazon SageMaker Studio est pris en charge figurent dans la documentation disponible ici.

Q : Quels sont les outils de gouvernance ML fournis par Amazon SageMaker ?

Amazon SageMaker fournit des outils de gouvernance spécialement conçus pour le cycle de vie ML. Les administrateurs peuvent définir des autorisations minimales en quelques minutes grâce à SageMaker Role Manager. SageMaker Model Cards facilite la capture, la récupération et le partage des informations essentielles du modèle, de la conception au déploiement, et SageMaker Model Dashboard vous tient informé du comportement du modèle de production, le tout en un seul endroit. Voir plus de détails.

Q : Que fait Amazon SageMaker Role Manager ?

Vous pouvez définir des autorisations minimales en quelques minutes grâce à Amazon SageMaker Role Manager. SageMaker Role Manager fournit un ensemble d'autorisations de base pour les activités et les personas de ML avec un catalogue de politiques IAM préétablies. En fonction de vos besoins spécifiques, vous pouvez conserver les autorisations de base ou les personnaliser davantage. Grâce à quelques invites auto-guidées, vous pouvez saisir rapidement des éléments de gouvernance courants tels que les limites d'accès au réseau et les clés de cryptage. SageMaker Role Manager génère alors automatiquement la politique IAM. Vous pouvez découvrir le rôle généré et les politiques associées via la console AWS IAM. Pour adapter davantage les autorisations à votre cas d'utilisation, attachez vos politiques IAM gérées au rôle IAM que vous créez avec SageMaker Role Manager. Vous pouvez également ajouter des balises pour faciliter l'identification du rôle et l'organisation entre les services AWS.

Q : Que font les Amazon SageMaker Model Cards ?

Amazon SageMaker Model Cards vous aide à centraliser et à normaliser la documentation du modèle tout au long du cycle du ML en créant une source unique de vérité pour les informations du modèle. SageMaker Model Cards remplit automatiquement les détails de la formation pour accélérer le processus de documentation. Vous pouvez également ajouter des détails tels que l'objectif du modèle et les objectifs de performance. Vous pouvez joindre les résultats de l'évaluation du modèle à votre fiche de modèle et fournir des visualisations pour obtenir des informations clés sur les performances du modèle. Les cartes modèles SageMaker peuvent facilement être partagées avec d'autres personnes en les exportant au format pdf.

Q : Que fait le Amazon SageMaker Model Dashboard ? 

Amazon SageMaker Model Dashboard vous donne un aperçu complet des modèles et des points de terminaison déployés, vous permettant de suivre les ressources et les violations du comportement du modèle dans un seul volet. Il vous permet de surveiller le comportement du modèle dans quatre dimensions, notamment la qualité des données et du modèle, ainsi que la dérive des biais et de l'attribution des fonctionnalités grâce à son intégration avec Amazon SageMaker Model Monitor et Amazon SageMaker Clarify. SageMaker Model Dashboard offre également une expérience intégrée permettant de configurer et de recevoir des alertes pour les tâches de surveillance de modèle manquantes et inactives, et les déviations du comportement du modèle pour la qualité du modèle, la qualité des données, la dérive du biais et la dérive de l'attribution des caractéristiques. Vous pouvez inspecter plus en détail les modèles individuels et analyser les facteurs qui influent sur les performances des modèles au fil du temps. Ensuite, vous pouvez prendre des mesures correctives en assurant le suivi avec les praticiens du ML.

Q : Qu'est-ce qu'Amazon SageMaker Autopilot ?

Amazon SageMaker Autopilot est la première solution automatisée de machine learning du secteur à offrir un contrôle et une visibilité complets sur vos modèles ML. SageMaker Autopilot inspecte automatiquement les données brutes, applique les processeurs de fonctions, sélectionne la meilleure combinaison d'algorithmes, entraîne et optimise de nombreux modèles, suit leurs performances et classe les modèles selon leurs performances, le tout en quelques clics seulement. Le résultat : le modèle le plus performant qui puisse être déployé, en un temps infiniment plus court que celui normalement requis pour entraîner le modèle. Vous avez une visibilité complète du processus de création du modèle et sur son contenu. Par ailleurs, SageMaker Autopilot s'intègre à Amazon SageMaker Studio. Vous pouvez explorer jusqu'à 50 modèles différents, générés par SageMaker Autopilot dans Amazon SageMaker Studio. Il est donc facile de choisir le modèle qui convient le mieux à votre cas d'utilisation. SageMaker Autopilot peut être utilisé sans expérience ML particulière pour produire un modèle en toute simplicité. Il peut également être utilisé par des développeurs expérimentés pour développer rapidement un modèle qui servira de base de travail à leurs équipes.

Q : Quels algorithmes intégrés sont pris en charge dans Amazon SageMaker Autopilot ?

Amazon SageMaker Autopilot prend en charge 2 algorithmes intégrés : XGBoost et Linear Learner.

Q : Puis-je arrêter manuellement une tâche Amazon SageMaker Autopilot ?

Oui. Vous pouvez arrêter une tâche à tout moment. Lorsqu'une tâche Amazon SageMaker Autopilot est arrêtée, toutes les évaluations en cours sont interrompues et aucune nouvelle évaluation ne sera démarrée.

Q : Comment démarrer rapidement avec Amazon SageMaker Neo ?

Amazon SageMaker JumpStart vous aide à vous familiariser avec le machine learning de manière facile et rapide. SageMaker JumpStart fournit un ensemble de solutions pour les cas d'utilisation les plus courants qui peuvent être déployés en quelques clics. Les solutions sont entièrement personnalisables et présentent l'utilisation des modèles AWS CloudFormation ainsi que les architectures de référence de sorte que vous puissiez accélérer votre adoption du ML. SageMaker JumpStart prend également en charge le déploiement et la mise au point en un clic de plus de 150 modèles open source populaires, tels que des modèles de transformation, de détection d'objets et de classification d'images. 

Q : Quels modèles open source sont pris en charge avec Amazon SageMaker JumpStart ?

Amazon SageMaker JumpStart comprend plus de 150 modèles open source pré-entraînés de PyTorch Hub et TensorFlow Hub. Pour les tâches de vision, telles que la classification d'images et la détection d'objets, vous pouvez utiliser des modèles comme ResNet, MobileNet et Single-Shot Detector (SSD). Pour les tâches de texte, comme la classification de phrases et de textes, et la réponse aux questions, vous pouvez utiliser des modèles comme BERT, RoBERTa et DistilBERT.

Q : Quelles sont les solutions pré-configurées avec Amazon SageMaker JumpStart ?

SageMaker JumpStart comprend des solutions pré-configurées avec tous les services AWS nécessaires pour lancer une solution en production. Ces solutions sont totalement personnalisables, de sorte que vous pouvez les modifier aisément pour les adapter à votre cas d'utilisation et à votre jeu de données spécifiques. Vous pouvez utiliser les solutions pour plus de 15 cas d'utilisation, dont la prévision de la demande, la détection de fraude et la maintenance prédictive, mais aussi déployer facilement des solutions en quelques clics seulement. Pour plus d'informations sur l'ensemble des solutions disponibles, consultez la page de mise en route de SageMaker. 

Q : Comment puis-je partager les artefacts ML avec d'autres personnes au sein de mon organisation ?

Avec Amazon SageMaker JumpStart, les analyseur des données et les développeurs ML peuvent facilement partager les artefacts ML, notamment les blocs-notes et les modèles, au sein de leur organisation. Les administrateurs peuvent mettre en place un référentiel accessible par un ensemble défini d'utilisateurs. Tous les utilisateurs autorisés à accéder au référentiel peuvent parcourir, rechercher et utiliser les modèles et les blocs-notes ainsi que le contenu public à l'intérieur de SageMaker JumpStart. Les utilisateurs peuvent sélectionner des artefacts pour former des modèles, déployer des points de terminaison et exécuter des blocs-notes dans SageMaker JumpStart.

Q : Pourquoi devrais-je utiliser Amazon SageMaker JumpStart pour partager des artefacts ML avec d'autres personnes de mon entreprise ?

Avec Amazon SageMaker JumpStart, vous pouvez accélérer la mise sur le marché lors de la création d'applications ML. Vous pouvez facilement partager, en quelques clics, les modèles et les blocs-notes créés par une équipe au sein de votre organisation avec d'autres équipes de votre organisation. Le partage des connaissances en interne et la réutilisation des actifs peuvent augmenter considérablement la productivité de votre organisation.

Q : Comment la tarification d'Amazon SageMaker JumpStart fonctionne-t-elle ?

Les services AWS lancés à partir d' Amazon SageMaker JumpStart, comme les tâches d'entraînement et les points de terminaison, vous sont facturés sur la base de la tarification de SageMaker. L'utilisation de SageMaker JumpStart ne donne lieu à aucun frais supplémentaire.

Q : Qu'est-ce qu'Amazon SageMaker Canvas ?

Amazon SageMaker Canvas est un service sans code pourvu d'une interface visuelle intuitive de type pointer-cliquer qui vous permet de créer des prédictions très précises basées sur le ML à partir de vos données. SageMaker Canvas vous permet d'accéder à des données provenant de diverses sources et de les combiner à l'aide d'une interface utilisateur de type glisser-déposer, en nettoyant et en préparant automatiquement les données afin de minimiser le nettoyage manuel. SageMaker Canvas applique une variété d'algorithmes ML de pointe pour trouver des modèles prédictifs très précis et fournit une interface intuitive pour faire des prédictions. Vous pouvez utiliser SageMaker Canvas pour faire des prédictions encore plus précises dans un éventail d'applications métier, et collaborer aisément avec des scientifiques des données et des analystes au sein de votre entreprise en partageant vos modèles, données et rapports. Pour en savoir plus sur SageMaker Canvas, rendez-vous sur la page Questions fréquentes de SageMaker Canvas.

Q : Comment la tarification d'Amazon SageMaker Canvas fonctionne-t-elle ?

Avec Amazon SageMaker Canvas, vous payez en fonction de l'utilisation. Grâce à SageMaker Canvas vous pouvez ingérer, explorer et préparer de manière interactive vos données provenant de plusieurs sources, d'entraîner des modèles ML très précis avec vos données et de générer des prédictions. Deux éléments déterminent votre facture : les frais de session, basés sur le nombre d'heures d'utilisation ou de connexion à SageMaker Canvas, et les frais d'entraînement du modèle, basés sur la taille de jeu de données utilisé pour construire le modèle. Pour obtenir des informations sur la tarification, consultez la page de tarification de SageMaker Canvas.

Q : Comment puis-je créer un pipeline d'intégration et de livraison continues (CI/CD) avec Amazon SageMaker ?

Amazon SageMaker Pipelines vous aide à créer des flux de ML entièrement automatisés, de la préparation des données au déploiement du modèle, de sorte que vous puissiez évoluer jusqu'à des milliers de modèles ML en production. SageMaker Pipelines est accompagné d'un kit SDK Python qui se connecte à Amazon SageMaker Studio pour vous permettre de profiter d'une interface visuelle pour créer chaque étape du flux. Ensuite, à l'aide d'une seule API, vous pouvez connecter chaque étape pour créer un flux de bout en bout. SageMaker Pipelines se charge de la gestion des données entre les étapes, de la création de packages des recettes de code et de l'orchestration de leur exécution, ramenant ainsi des mois de codage à quelques heures. À chaque exécution d'un flux, un registre complet des données traitées et des actions exécutées est conservé afin que les scientifiques des données et les développeurs ML puissent rapidement déboguer les problèmes.

Q : Comment puis-je visualiser tous mes modèles entraînés pour choisir le meilleur à mettre en production ?

Amazon SageMaker Pipelines offre un référentiel central des modèles entraînés, appelé registre de modèles. Vous pouvez découvrir des modèles et accéder au registre de modèles visuellement par le biais de SageMaker Studio, ou par programmation à l'aide du kit SDK Python. Cela vous permet ainsi de choisir aisément le modèle à déployer en production.

Q : Quels composants d'Amazon SageMaker peuvent être ajoutés à Amazon SageMaker Pipelines ?

Les composants disponibles dans Amazon SageMaker Studio, notamment Amazon SageMaker Amazon Clarify, Amazon SageMaker Data Wrangler, Amazon SageMaker Feature Store, Amazon SageMaker Experiments, Amazon SageMaker Debugger et Amazon SageMaker Model Monitor, peuvent être ajoutés à SageMaker Pipelines.

Q : Comment puis-je suivre les composants de mon modèle dans l'ensemble du flux de ML ?

Amazon SageMaker Pipelines assure automatiquement le suivi de tous les éléments des modèles et conserve un journal d'activité d'audit de toutes les modifications, ce qui élimine tout suivi manuel et peut vous aider à atteindre vos objectifs de conformité. SageMaker Pipelines vous permet de suivre les données, le code, les modèles entraînés et plus encore.

Q . Comment fonctionne la tarification d'Amazon SageMaker Pipelines ?

Amazon SageMaker Pipelines est disponible sans frais supplémentaires. Vous ne payez que les frais sous-jacents de calcul ou les frais d'éventuels services AWS que vous utilisez dans SageMaker Pipelines.

Q : Puis-je utiliser Kubeflow avec Amazon SageMaker ?

Oui. Amazon SageMaker Components pour Kubeflow Pipelines sont des plugins open source qui vous permettent d'utiliser Kubeflow Pipelines pour définir vos flux ML et SageMaker pour les étapes d'étiquetage, d'entraînement et d'inférence des données. Kubeflow Pipelines est un module complémentaire pour Kubeflow qui vous permet de créer et de déployer des pipelines ML de bout en bout portables et évolutifs. Cependant, lorsqu'elles utilisent Kubeflow Pipelines, les équipes d'opérations ML doivent gérer un cluster Kubernetes avec des instances de CPU et de GPU et maintenir son utilisation élevée en permanence pour réduire les frais d'utilisation. La maximisation de l'utilisation d'un cluster au sein des équipes de science des données est un défi. Cela multiplie davantage la charge pour les équipes d'opérations ML. En tant qu'alternative à un cluster Kubernetes optimisé pour le ML, avec Amazon SageMaker Components pour Kubeflow Pipelines vous permet de tirer parti de puissantes fonctions SageMaker, telles que l'étiquetage des données, le réglage d'hyperparamètres à grande échelle entièrement géré et les tâches d'entraînement distribuées, le déploiement en un clic de modèles sécurisés et évolutifs et l'entraînement économique à l'aide d'instances Spot Amazon EC2, le tout sans devoir configurer et gérer des clusters Kubernetes pour exécuter spécifiquement les tâches ML.

Q : Comment fonctionne la tarification d'Amazon SageMaker Components pour Kubeflow Pipelines ?

Amazon SageMaker Components pour Kubeflow Pipelines est disponible sans frais supplémentaires. 

Q : Comment le service Amazon SageMaker prépare-t-il les données pour le ML ?

Amazon SageMaker Data Wrangler réduit le temps nécessaire pour regrouper et préparer des données pour le ML. À partir d'une interface unique dans Amazon SageMaker Studio, vous pouvez parcourir et importer des données depuis Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation, Amazon SageMaker Feature Store et Snowflake en quelques clics seulement. Vous pouvez également interroger et importer des données qui sont transférées à partir de plus de 40 sources de données et enregistrées dans le catalogue de données AWS Glue par Amazon AppFlow. SageMaker Data Wrangler chargera, agrégera et affichera automatiquement les données brutes. Après avoir importé vos données dans SageMaker Data Wrangler, vous pouvez voir des résumés de colonnes et des histogrammes générés automatiquement. Vous pouvez ensuite creuser davantage pour comprendre vos données et identifier les erreurs potentielles grâce au rapport SageMaker Data Wrangler Data Quality and Insights, qui fournit des statistiques récapitulatives et des avertissements sur la qualité des données. Vous pouvez également exécuter une analyse de biais prise en charge par Amazon SageMaker Clarify directement à partir de SageMaker Data Wrangler pour détecter les biais potentiels lors de la préparation des données. À partir de là, vous pouvez utiliser les transformations préétablies de SageMaker Data Wrangler pour préparer vos données. Une fois vos données préparées, vous pouvez créer des flux ML entièrement automatisés avec Amazon SageMaker Pipelines, ou importer ces données dans Amazon SageMaker Feature Store.

Q : Comment puis-je créer des caractéristiques de modèles avec Amazon SageMaker Data Wrangler ?

Sans l'écriture d'une seule ligne de code, Amazon SageMaker Data Wrangler peut transformer automatiquement vos données en de nouvelles caractéristiques. SageMaker Data Wrangler offre une sélection de transformations de données préconfigurées, l'imputation des données manquantes, l'encodage à un coup, la réduction de la dimensionnalité par l'analyse en composantes principales (ACP), ainsi que des transformateurs spécifiques aux séries chronologiques. Par exemple, vous pouvez convertir une colonne de champ de texte en une colonne numérique en un seul clic. Vous pouvez également créer un extrait de code à partir de la bibliothèque d'extraits de SageMaker Data Wrangler.

Q : Comment puis-je visualiser mes données dans Amazon SageMaker Data Wrangler ?

Amazon SageMaker Data Wrangler vous aide à comprendre vos données et identifier des erreurs potentielles et des valeurs extrêmes avec un ensemble de modèles de visualisation pré-configurés. Des histogrammes, des nuages de points et des visualisations spécifiques ML, telles que la détection de fuite de données, sont disponibles sans l'écriture de la moindre ligne de code. Vous pouvez également créer et modifier vos propres visualisations.

Q : Comment fonctionne la tarification d'Amazon SageMaker Data Wrangler ?

Les ressources de traitement de données, de stockage et de calcul ML que vous utilisez pour Amazon SageMaker Data Wrangler vous sont facturées. Des informations détaillées sur la tarification de SageMaker Data Wrangler sont disponibles ici. Dans le cadre de l'offre gratuite d'AWS, vous pouvez également commencer à utiliser SageMaker Data Wrangler gratuitement.

Q : Comment puis-je former des modèles de machine learning avec des données préparées dans Amazon SageMaker Data Wrangler ?

Amazon SageMaker Data Wrangler offre une expérience unifiée vous permettant de préparer les données et d'entraîner de manière transparente un modèle de machine learning dans Amazon SageMaker Autopilot. SageMaker Autopilot crée, entraîne et ajuste automatiquement les meilleurs modèles de ML en fonction de vos données. Avec SageMaker Autopilot, vous conservez le contrôle total et la visibilité de vos données et de votre modèle. Avec vos modèles existants, vous pouvez également utiliser les fonctionnalités préparées dans SageMaker Data Wrangler. Vous pouvez configurer les tâches de traitement Amazon SageMaker Data Wrangler pour qu'elles s'exécutent dans le cadre de votre pipeline de formation SageMaker, soit en configurant la tâche dans l'interface utilisateur (IU), soit en exportant un bloc-notes avec le code d'orchestration.

Q : Comment Amazon SageMaker Data Wrangler traite-t-il les nouvelles données lorsque j'ai préparé mes fonctionnalités sur des données historiques ?

Vous pouvez configurer et lancer des tâches de traitement Amazon SageMaker directement à partir de l'interface utilisateur Amazon SageMaker Data Wrangler, notamment en programmant votre tâche de traitement des données et en paramétrant vos sources de données pour transformer facilement de nouveaux lots de données à l'échelle.

Q : Comment Amazon SageMaker Data Wrangler fonctionne-t-il avec mes processus CI/CD ?

Une fois que vous avez préparé vos données, Amazon SageMaker Data Wrangler propose différentes options pour promouvoir votre flux SageMaker Data Wrangler en production et s'intègre parfaitement aux fonctionnalités MLOps et CI/CD. Vous pouvez configurer et lancer des tâches de traitement SageMaker directement à partir de l'interface utilisateur de SageMaker Data Wrangler, notamment en programmant votre tâche de traitement de données et en paramétrant vos sources de données pour transformer facilement de nouveaux lots de données à l'échelle. Sinon, SageMaker Data Wrangler s'intègre parfaitement au traitement SageMaker et au conteneur SageMaker Spark, ce qui vous permet d'utiliser facilement les SDK SageMaker pour intégrer SageMaker Data Wrangler dans votre flux de production.

Q : Quel modèle utilise Amazon SageMaker Data Wrangler Quick Model ?

En quelques clics de bouton, Amazon SageMaker Data Wrangler divise et entraîne un modèle XGBoost avec des hyperparamètres par défaut. En fonction du type de problème, SageMaker Data Wrangler fournit un résumé du modèle, un résumé des fonctionnalités et une matrice de confusion pour vous donner rapidement un aperçu afin que vous puissiez itérer sur vos flux de préparation des données. 

Q : Quelle est la taille des données prises en charge par Amazon SageMaker Data Wrangler ?

Amazon SageMaker Data Wrangler prend en charge diverses techniques d'échantillonnage, telles que l'échantillonnage top-K, aléatoire et stratifié pour l'importation de données, afin que vous puissiez rapidement transformer vos données à l'aide de l'interface utilisateur de SageMaker Data Wrangler. Si vous utilisez des jeux de données volumineux ou larges, vous pouvez augmenter la taille de l'instance de SageMaker Data Wrangler pour améliorer les performances. Une fois que vous avez créé votre flux, vous pouvez traiter votre jeu de données complet à l'aide des tâches de traitement SageMaker Data Wrangler.

Q : Amazon SageMaker Data Wrangler fonctionne-t-il avec le magasin de fonctionnalités Amazon SageMaker Feature Store ?

Vous pouvez configurer Amazon SageMaker Feature Store comme destination pour vos fonctions préparées dans Amazon SageMaker Data Wrangler. Cela peut se faire directement dans l'interface utilisateur ou vous pouvez exporter un carnet de notes généré spécifiquement pour le traitement des données avec SageMaker Feature Store comme destination.

Q : Comment puis-je stocker les fonctions de mes modèles de ML ?

Amazon SageMaker Feature Store offre un référentiel central pour les fonctions de données avec des lectures et des écritures à faible latence (de l'ordre de la milliseconde). Les fonctions peuvent être stockées, récupérées, découvertes et partagées à l'aide de SageMaker Feature Store pour une réutilisation aisée dans les modèles et au sein d'équipes avec un accès et un contrôle sécurisés. SageMaker Feature Store prend en charge les fonctions en ligne et hors ligne générées par le biais des pipelines par lot ou en streaming. Le service prend en charge le remplissage des caractéristiques et offre des magasins en ligne et hors ligne pour maintenir la parité entre les caractéristiques utilisées dans l'entraînement et l'inférence du modèle.

Q : Comment puis-je maintenir la cohérence entre les fonctions en ligne et hors ligne ?

Amazon SageMaker Feature Store maintient automatiquement la cohérence entre les caractéristiques en ligne et hors ligne sans gestion ni code supplémentaire. SageMaker Feature Store est entièrement géré et maintient la cohérence entre les environnement d'entraînement et d'inférence.

Q : Comment puis-je reproduire une fonction à partir d'un moment donné dans le temps ?

Amazon SageMaker Feature Store conserve un horodatage de toutes les caractéristiques à tout moment dans le temps. Cela vous permet de récupérer des caractéristiques à tout moment pour répondre à des exigences métier ou de conformité. Vous pouvez facilement expliquer les fonctions d'un modèle et leurs valeurs depuis leur création jusqu'à l'instant présent en reproduisant le modèle à partir d'un moment précis dans le temps.

Q : Que sont les fonctions hors ligne ?

Les caractéristiques hors ligne sont utilisées pour l'entraînement, car vous devez accéder à des volumes très importants sur une longue période. Ces fonctions sont diffusées à partir d'un référentiel haut débit et à bande passante élevée.

Q : Que sont les fonctions en ligne ?

Les fonctions en ligne sont utilisées dans les applications qui doivent effectuer des prédictions en temps réel. Les fonctions en ligne sont diffusées à partir d'un référentiel haut débit avec une latence de l'ordre de la milliseconde (à un seul chiffre) pour garantir la rapidité des prédictions.

Q : Comment fonctionne la tarification d'Amazon SageMaker Feature Store ?

Vous pouvez commencer à utiliser gratuitement Amazon SageMaker Feature Store dans le cadre de l'offre gratuite d'AWS. Avec SageMaker Feature Store, vous payez pour l'écriture dans le stockage de fonctions, et la lecture et le stockage dans le stockage de fonctions en ligne. Pour en savoir plus, reportez-vous à la page sur la tarification SageMaker.

Q : Qu'offre Amazon SageMaker pour l'étiquetage des données ?

Amazon SageMaker propose deux offres en matière d'étiquetage des données : Amazon SageMaker Ground Truth Plus et Amazon SageMaker Ground Truth. Les deux options vous permettent d'identifier des données brutes, telles que des images, des fichiers texte et des vidéos, et d'ajouter des étiquettes informatives pour créer des jeux de données d'entraînement de haute qualité pour vos modèles ML. Pour en savoir plus, voir la page web sur l'étiquetage des données de SageMaker Data.

Q : Que sont les données géospatiales ? 

Les données géospatiales représentent des caractéristiques ou des objets à la surface de la Terre. Le premier type de données géospatiales est constitué de données vectorielles qui utilisent des géométries bidimensionnelles telles que des points, des lignes ou des polygones pour représenter des objets tels que des routes et des frontières terrestres. Le deuxième type de données géospatiales est constitué de données matricielles telles que des images capturées par des satellites, des plateformes aériennes ou des données de télédétection. Ce type de données utilise une matrice de pixels pour définir l'emplacement des fonctionnalités. Vous pouvez utiliser les formats matriciels pour stocker des données qui varient. Un troisième type de données géospatiales est constitué par les données de localisation géolocalisées. Il peut s'agir de points d'intérêt (par exemple, la tour Eiffel), de messages de médias sociaux étiquetés, de coordonnées de latitude et de longitude ou de différents styles et formats d'adresses de rue. 

Q : Quelles sont les fonctionnalités géospatiales d'Amazon SageMaker ? 

Les fonctionnalités géospatiales d'Amazon SageMaker facilitent la tâche des scientifiques des données et des ingénieurs en machine learning (ML) pour créer, entraîner et déployer des modèles ML permettant de faire des prédictions à l'aide de données géospatiales. Vous pouvez apporter vos propres données, comme les données satellitaires de Planet Labs à partir d'Amazon S3, ou acquérir des données à partir d'Open Data on AWS, d'Amazon Location Service et d'autres sources de données géospatiales Amazon SageMaker. 

Q : Pourquoi devrais-je utiliser les fonctionnalités du ML géospatial de Amazon SageMaker ?

Vous pouvez utiliser les capacités géospatiales d'Amazon SageMaker pour faire des prédictions sur des données géospatiales plus rapidement que les solutions à faire soi-même. Les fonctionnalités géospatiales d'Amazon SageMaker facilitent l'accès aux données géospatiales à partir de vos lacs de données clients existants, de jeux de données open-source et d'autres sources de données géospatiales Amazon SageMaker. Les fonctionnalités géospatiales d'Amazon SageMaker minimisent la nécessité de créer une infrastructure personnalisée et des fonctions de prétraitement des données en proposant des algorithmes spécialement conçus pour une préparation efficace des données, l'apprentissage des modèles et l'inférence. Vous pouvez également créer et partager des visualisations et des données personnalisées avec votre entreprise à partir d'Amazon SageMaker Studio. Les fonctionnalités géospatiales d'Amazon SageMaker comprennent des modèles pré-entraînés pour des utilisations courantes dans les domaines de l'agriculture, de l'immobilier, des assurances et des services financiers.

Q : Qu'est-ce que les blocs-notes Amazon SageMaker Studio ?

Les blocs-notes Amazon SageMaker Studio sont des blocs-notes Jupyter à démarrage rapide, collaboratifs et gérés. Les blocs-notes Amazon SageMaker Studio s'intègrent aux outils ML spécialement conçus dans SageMaker et d'autres services AWS pour un développement ML de bout en bout dans Amazon SageMaker Studio, l'environnement de développement intégré (IDE) entièrement pour le ML.

Q : En quoi les blocs-notes Amazon SageMaker Studio sont-ils différents des blocs-notes basés sur des instances ?

Les blocs-notes SageMaker Studio offrent quelques fonctions importantes qui les différencient des blocs-notes basés sur des instances. Avec les blocs-notes Studio, vous pouvez lancer rapidement des blocs-notes sans avoir à allouer manuellement une instance et à attendre qu'elle soit opérationnelle. Le temps de démarrage du lancement de l'interface utilisateur pour lire et exécuter un bloc-notes est plus rapide que celui des blocs-notes basés sur des instances.

Vous avez également la possibilité de choisir à tout moment parmi un large ensemble de types d'instances dans l'interface utilisateur. Vous n'avez pas besoin d'accéder à la console de gestion AWS pour démarrer de nouvelles instances et transférer vos blocs-notes.

Chaque utilisateur a un répertoire de base isolé indépendant d'une instance particulière. Ce répertoire est automatiquement monté dans tous les serveurs de blocs-notes et noyaux lorsqu'ils sont démarrés, afin que vous puissiez accéder à vos blocs-notes et aux autres fichiers, même lorsque vous changez d'instance pour afficher et exécuter vos blocs-notes.

Les blocs-notes SageMaker Studio sont intégrés à AWS IAM Identity Center (successeur d'AWS SSO), ce qui facilite l'utilisation de vos informations d'identification d'organisation pour accéder aux blocs-notes. Le partage de blocs-notes est une fonction intégrée aux blocs-notes SageMaker Studio. Vous pouvez partager vos blocs-notes avec vos pairs d'un simple clic ou même co-éditer un bloc-notes unique en même temps.

Q : Comment fonctionnent les blocs-notes Amazon SageMaker Studio ?

Les blocs-notes Amazon SageMaker Studio sont des blocs-notes Jupyter en un clic qui peuvent être démarrés rapidement. Les ressources de calcul sous-jacentes sont entièrement élastiques, de sorte que puissiez facilement composer les ressources disponibles ou les diminuer. Par ailleurs, les modifications ont lieu automatiquement en arrière-plan sans interrompre votre travail. SageMaker permet également le partage automatique des blocs-notes en un clic. Vous pouvez facilement partager des blocs-notes avec d'autres personnes, et elles recevront exactement le même bloc-notes, enregistré au même endroit.

Avec les blocs-notes SageMaker, vous pouvez vous connecter avec vos informations d'identification d'entreprise en utilisant AWS IAM Identity Center (successeur d'AWS SSO). Le partage de blocs-notes au sein des équipes et entre elles est facile, car les dépendances nécessaires à l'exécution d'un bloc-notes sont automatiquement suivies dans les images de travail qui sont encapsulées avec le bloc-notes lors de son partage.

Q : Quels sont les espaces partagés dans Amazon SageMaker ?

Les spécialistes de machine learning peuvent créer un espace de travail partagé où leurs coéquipiers peuvent lire et modifier ensemble les carnets Amazon SageMaker Studio. En utilisant les rythmes partagés, les coéquipiers peuvent coéditer le même fichier du bloc-notes, exécuter le code du bloc-notes simultanément et examiner les résultats ensemble afin d'éliminer les allers-retours et de rationaliser la collaboration. Dans les espaces partagés, les équipes ML bénéficieront d'une prise en charge intégrée de services tels que BitBucket et AWS CodeCommit, de sorte qu'elles pourront facilement gérer différentes versions de leur carnet de notes et comparer les modifications au fil du temps. Toutes les ressources créées à l'intérieur des blocs-notes, telles que les expériences et les modèles ML, sont automatiquement sauvegardées et associées à l'espace de travail spécifique où elles ont été créées, de sorte que les équipes peuvent plus facilement rester organisées et accélérer le développement des modèles ML.

Q : Comment fonctionnent les blocs-notes Amazon SageMaker Studio avec d'autres services AWS ?

Les blocs-notes Amazon SageMaker Studio vous donnent accès à toutes les fonctionnalités de SageMaker, telles que la formation distribuée, la transformation par lots, l'hébergement et la gestion des expériences. Vous pouvez désormais accéder à d'autres services, comme les jeux de données, dans Amazon S3, Amazon Redshift, AWS Glue, Amazon EMR, ou AWS Lake Formation à partir des blocs-notes SageMaker.

Q : Comment la tarification des blocs-notes Amazon SageMaker Studio fonctionne-t-elle ?

Lorsque vous utilisez les blocs-notes SageMaker Studio, vous payez à la fois pour le calcul et le stockage. Pour connaître les frais applicables par type d'instance de calcul, consultez la page Tarification d'Amazon SageMaker. Vos blocs-notes et les artefacts associés, tels que les scripts et les fichiers de données, sont maintenus sur Amazon EFS. Pour connaître les frais de stockage, voir Tarification d'Amazon EFS. Dans le cadre de l'offre gratuite d'AWS, vous pouvez commencer à utiliser les blocs-notes Amazon SageMaker Studio gratuitement.

Q : Chaque bloc-notes créé et exécuté dans SageMaker Studio me sera-t-il facturé séparément ?

Non. Vous pouvez créer et exécuter plusieurs blocs-notes sur la même instance de calcul. Vous êtes facturé uniquement pour le calcul que vous utilisez, et non pas pour les éléments individuels. Pour en savoir plus à ce sujet, reportez-vous à notre guide de mesure.

En plus des blocs-notes, vous pouvez également démarrer et exécuter des terminaux et des shells interactifs dans SageMaker Studio, le tout sur la même instance de calcul. Chaque application s'exécute au sein d'un conteneur ou d'une image. SageMaker Studio fournit plusieurs images intégrées, spécialement conçues et préconfigurées pour la science des données et le ML. Pour en savoir plus sur l'environnement de développement de SageMaker Studio, reportez-vous à notre guide d'utilisation des blocs-notes SageMaker Studio.

Q : Comment puis-je contrôler et arrêter les ressources utilisées par mes blocs-notes ?

Vous pouvez contrôler et arrêter les ressources utilisées par vos blocs-notes SageMaker Studio par le biais de l'interface visuelle de SageMaker Studio et de la console de gestion AWS. Reportez-vous à la documentation pour plus de détails.

Q : J'exécute un bloc-notes SageMaker Studio. Vais-je quand même être facturé si je ferme mon navigateur ou l'onglet du bloc-notes ou si je laisse simplement le navigateur ouvert ?

Oui, vous continuerez d'être facturé pour le calcul. Cela fonctionne de la même manière que si vous lancez des instances Amazon EC2 dans la console de gestion AWS, puis fermez le navigateur. Les instances Amazon EC2 continuent de s'exécuter, et des frais vous sont donc facturés, à moins que vous arrêtiez explicitement ces instances.

Q : La création et la configuration d'un domaine Amazon SageMaker Studio me sont-elles facturées ?

Non, vous n'êtes pas facturé pour la création ou la configuration d'un domaine Amazon SageMaker Studio, y compris l'ajout, la mise à jour et la suppression de profils d'utilisateurs.

Q : Comment puis-je voir les frais détaillés des blocs-notes Amazon SageMaker Studio ou d'autres services Amazon SageMaker ?

En tant qu'administrateur, vous pouvez afficher la liste des frais détaillés pour Amazon SageMaker, y compris SageMaker Studio, dans la console de facturation AWS. Dans la console de gestion AWS de SageMaker, choisissez Services dans le menu supérieur, saisissez Facturation dans la zone de recherche et sélectionnez Facturation dans le menu déroulant, puis Factures dans le volet de gauche. Dans la section Details (Détails), vous pouvez cliquer sur SageMaker pour développer la liste des régions et voir les frais détaillés.

Q : Qu'est-ce qu'Amazon SageMaker Studio Lab ?

Amazon SageMaker Studio Lab est un environnement de développement de ML gratuit qui fournit des fonctions de calcul, de stockage (jusqu'à 15 Go) et de sécurité sans frais supplémentaires pour l'apprentissage et l'expérimentation ML. Pour commencer, vous avez simplement besoin d'une adresse e-mail valide. Nul besoin donc de configurer une infrastructure, de gérer des identités ni même de s'inscrire à un compte AWS ou d'en créer un. SageMaker Studio Lab accélère la création de modèles au moyen de l'intégration GitHub. Il est fourni avec les outils, cadres et bibliothèques ML les plus populaires pour vous permettre de démarrer immédiatement. SageMaker Studio Lab enregistre automatiquement votre travail pour vous éviter de recommencer à chaque session. Vous fermez votre ordinateur portable, vous reprenez votre session quand vous le souhaitez et vous voilà fin prêt !

Q : Pourquoi utiliser Amazon SageMaker Studio Lab ?

Amazon SageMaker Studio Lab s'adresse aux étudiants, chercheurs et scientifiques des données à la recherche d'un environnement de développement de blocs-notes gratuit et ne nécessitant aucune configuration pour leurs cours et expériences de ML. SageMaker Studio Lab est idéal pour les utilisateurs qui n'ont pas besoin d'un environnement de production, mais qui veulent tout de même un sous-ensemble de la fonctionnalité SageMaker pour améliorer leurs compétences en ML. Les sessions SageMaker sont automatiquement enregistrées, ce qui permet aux utilisateurs de reprendre le travail là où ils l'avaient abandonné.

Q : Comment Amazon SageMaker Studio Lab fonctionne-t-il avec d'autres services AWS ?

Amazon SageMaker Studio Lab est un service basé sur AWS qui utilise de nombreux services essentiels communs avec Amazon SageMaker Studio, comme Amazon S3 et Amazon EC2. Contrairement aux autres services, ce service ne nécessite pas que les clients aient un compte AWS. Au lieu de cela, ils créent un compte spécifique à Amazon SageMaker Studio Lab à l'aide d'une adresse e-mail. Les utilisateurs disposent alors d'un accès à un environnement limité (15 Go de stockage et 12 heures de sessions) qui leur permet d'exécuter des blocs-notes ML.

Q : Qu'est-ce qu'Amazon SageMaker Canvas ?

Amazon SageMaker Canvas est un service visuel de type glisser-déposer qui permet aux analystes métier de créer des modèles ML et de générer des prédictions précises sans écrire la moindre ligne de code ni posséder une quelconque expertise ML. SageMaker Canvas permet d'accéder facilement à des données provenant de diverses sources et de les combiner, de nettoyer automatiquement les données et de leur appliquer une variété de réglages. Le service permet également de créer des modèles ML pour générer des prédictions précises en un seul clic. Vous pouvez également publier des résultats en toute simplicité, expliquer et interpréter des modèles, et soumettre ces modèles pour révision à d'autres utilisateurs de votre organisation.

Q : Quelles sont les sources de données prises en charge par Amazon SageMaker Canvas ?

Amazon SageMaker Canvas vous permet de découvrir en toute transparence les sources de données AWS auxquelles votre compte a accès, notamment Amazon S3 et Amazon Redshift. Vous pouvez parcourir et importer des données à l'aide de l'interface visuelle de type glisser-déposer de SageMaker Canvas. Vous pouvez également faire glisser des fichiers à partir de votre disque local et utiliser des connecteurs prédéfinis pour importer des données depuis des sources tierces, telles que Snowflake.

Q : Comment construire un modèle ML pour générer des prédictions précises dans Amazon SageMaker Canvas ?

Une fois que vous avez connecté des sources, sélectionné un jeu de données et préparé vos données, vous pouvez sélectionner la colonne cible pour laquelle vous souhaitez effectuer une prédiction afin de lancer la tâche de création de modèle. Amazon SageMaker Canvas identifiera automatiquement le type de problème, générera de nouvelles fonctionnalités pertinentes, testera un ensemble complet de modèles de prédiction à l'aide de techniques ML telles que la régression linéaire, la régression logistique, le deep learning, la prévision de séries chronologiques et le boosting de gradient, et construira le modèle qui effectue des prédictions précises sur la base de votre jeu de données.

Q : Combien de temps faut-il pour construire un modèle dans Amazon SageMaker Canvas ? Comment puis-je surveiller l'avancement de la création d'un modèle ?

Le temps nécessaire à la création d'un modèle dépend de la taille de votre jeu de données : de moins de 30 minutes pour les jeux de données de petite taille à plusieurs heures pour les jeux de données volumineux. À mesure que la tâche de création du modèle progresse, Amazon SageMaker Canvas fournit des mises à jour visuelles détaillées, dont le pourcentage d'achèvement de la tâche et la durée restante.

Q : Qu'est-ce qu'Amazon SageMaker Experiments ?

Amazon SageMaker Experiments vous permet d'organiser et de suivre les itérations sur les modèles ML. SageMaker Experiments vous permet de gérer les itérations en collectant automatiquement les paramètres d'entrée, les configuration et les résultats, puis en les stockant en tant qu'« expériences ». Vous pouvez travailler dans l'interface visuelle d'Amazon SageMaker Studio, où vous pouvez parcourir les expériences actives, rechercher les expériences précédentes par leurs caractéristiques, évaluer les expériences précédentes avec leurs résultats et établir des comparaisons visuelles de résultats d'expériences.

Q : Qu'est-ce qu'Amazon SageMaker Debugger ?

Amazon SageMaker Debugger collecte automatiquement les métriques en temps réel pendant l'entraînement, par exemple les matrices de confusion et les gradients d'apprentissage. Ces métriques permettent d'améliorer la précision du modèle. Les mesures prises par SageMaker Debugger peuvent être visualisées dans Amazon SageMaker Studio, afin de faciliter leur compréhension. SageMaker Debugger peut également générer des avertissements et des conseils de correction lorsque des problèmes d'entraînement sont détectés. En outre, SageMaker Debugger surveille et profile automatiquement les ressources système, telles que les CPU, les GPU, le réseau et la mémoire en temps réel et fournit des recommandations de ré-allocation de ces ressources. Cela vous permet d'utiliser vos ressources efficacement pendant l'entraînement et contribue à réduire les coûts et les ressources.

Q : Amazon SageMaker prend-il en charge l'entraînement distribué ?

Oui. Amazon SageMaker peut distribuer automatiquement les modèles de deep learning et les grands ensembles d'entraînement entre plusieurs instances GPU AWS en une fraction du temps nécessaire pour créer et optimiser manuellement ces stratégies de distribution. Les techniques d'entraînement distribué appliquées par SageMaker sont le parallélisme des données et le parallélisme des modèles. Le parallélisme des données est appliqué pour améliorer les vitesses d'entraînement en répartissant de manière égale les données sur plusieurs instances GPU, permettant ainsi à chaque instance d'entraîner simultanément. Le parallélisme des modèles s'avère utile pour les modèles trop importants pour être stockés sur un seul GPU et exige que le modèle soit partitionné en parties plus petites avant distribution sur plusieurs GPU. Rien qu'avec quelques lignes de code supplémentaires dans vos scripts d'entraînement PyTorch et TensorFlow, SageMaker appliquera automatiquement pour vous le parallélisme des données ou des modèles, ce qui vous permet de développer et de déployer vos modèles plus rapidement. SageMaker détermine également la meilleure approche pour diviser votre modèle en utilisant des algorithmes de partitionnement de graphiques pour équilibrer le calcul de chaque GPU tout en réduisant la communication entre les instances GPU. En outre, SageMaker optimise vos tâches d'entraînement distribuées grâce à des algorithmes qui utilisent intégralement le réseau et le calcul AWS afin d'obtenir une efficacité de mise à l'échelle quasi linéaire. Cela vous permet de terminer l'entraînement plus rapidement qu'avec des implémentations open source manuelles.

Q : Qu'est-ce qu'Amazon SageMaker Training Compiler ?

Amazon SageMaker Training Compiler est un compilateur de deep learning (DL) qui accélère jusqu'à 50 % l'entraînement des modèles DL grâce à des optimisations au niveau du graphe et du noyau, pour une utilisation plus efficace des GPU. Training Compiler SageMaker est intégré à des versions de TensorFlow et PyTorch dans SageMaker, ce qui vous permet d'accélérer l'entraînement dans ces cadres populaires moyennant des changements de code minimes.

Q : Comment fonctionne Amazon SageMaker Training Compiler ?

Amazon SageMaker Training Compiler accélère les tâches d'entraînement en convertissant les modèles DL à partir de leur représentation dans un langage évolué en instructions optimisées pour le matériel qui permettent un entraînement plus rapide que les tâches avec les cadres natifs. Plus précisément, SageMaker Training Compiler effectue des optimisations au niveau du graphe (fusion d'opérateurs, planification de mémoire et simplification algébrique), des optimisations au niveau du flux de données (transformation de la mise en page, élimination des sous-expressions communes) et des optimisations backend (masquage de la latence de la mémoire, optimisations axées sur les boucles) pour produire une tâche d'entraînement de modèle optimisée qui utilise plus efficacement les ressources matérielles et, par conséquent, garantit un entraînement plus rapide.

Q : Comment puis-je utiliser Amazon SageMaker Training Compiler ?

Amazon SageMaker Training Compiler est intégré dans la bibliothèque SageMaker Python SDK et les Deep Learning Containers SageMaker Hugging Face. Aucune modification de vos flux n'est nécessaire pour profiter de ses avantages sur le plan de la vitesse. Vous pouvez exécuter des tâches d'entraînement sans changer votre façon de faire, en utilisant n'importe quelle interface SageMaker : instances de blocs-notes Amazon SageMaker, Amazon SageMaker Studio, AWS SDK pour Python (Boto3) et AWS Command Line Interface. Vous pouvez activer SageMaker Training Compiler en ajoutant une classe TrainingCompilerConfig en tant que paramètre lors de la création d'un objet d'estimation de cadre. Dans la pratique, cela signifie que quelques lignes de code sont ajoutées au script de votre tâche d'entraînement existante pour une seule instance GPU. Pour les dernières informations détaillées, les exemples de blocs-notes et divers exemples, reportez-vous à la documentation.

Q : Quel est le prix d'Amazon SageMaker Training Compiler ? 

Training Compiler est une fonction d'entraînement SageMaker proposée gratuitement qui s'adresse uniquement aux clients SageMaker. Training Compiler permet aux clients de réduire effectivement les coûts, dans la mesure où les temps d'entraînement sont réduits.

Q : Qu'est-ce que l'entraînement Spot géré ?

L'entraînement Spot géré avec Amazon SageMaker vous permet d'entraîner vos modèles ML à l'aide d'instances Spot Amazon EC2, tout en offrant jusqu'à 90 % de réduction sur les coûts d'entraînement de vos modèles.

Q : Comment utiliser l'entraînement Spot géré ?

Vous activez l'option d'entraînement Spot géré lors de la soumission de vos tâches d'entraînement, et vous spécifiez également le temps que vous souhaitez attendre pour la capacité Spot. Amazon SageMaker utilisera ensuite les instances Spot Amazon EC2 pour exécuter votre tâche, et gère la capacité Spot. Vous bénéficiez d'une visibilité totale du statut de votre tâche d'entraînement, à la fois en cours d'exécution et en attente de capacité.

Q : Quand utiliser l'entraînement Spot géré ?

L'entraînement Spot géré est idéal lorsque vous avez de la flexibilité dans vos exécutions d'entraînement et lorsque vous souhaitez réduire le coût de vos tâches d'entraînement. Avec l'entraînement Spot géré, vous pouvez avoir jusqu'à 90 % de réduction sur le coût d'entraînement de vos modèles ML.

Q : Comment fonctionne l'entraînement Spot géré ?

Il utilise des instances Amazon EC2 Spot pour l'entraînement, qui peuvent être préemptées lorsque AWS a besoin de plus de capacité. En conséquence, les tâches d'entraînement Spot géré peuvent être exécutées par petits incréments à mesure que la capacité devient disponible. Les tâches d'entraînement ne doivent pas nécessairement être redémarrées à partir de zéro en cas d'interruption, car Amazon SageMaker peut les reprendre en utilisant le point de contrôle de modèle le plus récent. Les cadres intégrés et les algorithmes de reconnaissance d'images intégrés dont est équipé SageMaker permettent d'utiliser des points de contrôle réguliers. Vous pouvez activer des points de contrôle avec des modèles personnalisés.

Q : Est-il nécessaire de générer régulièrement des points de contrôle avec l'entraînement Spot géré ?

Nous recommandons d'utiliser des points de contrôle régulier comme bonne pratique générale pour les tâches d'entraînement de longue durée. Cela empêche le redémarrage de vos tâches d'entraînement Spot géré si la capacité est préemptée. Lorsque vous activez les points de contrôle, Amazon SageMaker reprend vos tâches d'entraînement Spot géré à partir du dernier point de contrôle.

Q : Comment calculez-vous les économies de coûts avec les tâches d'entraînement Spot géré ?

Une fois qu'une tâche d'entraînement Spot géré est terminée, vous pouvez voir les économies réalisées dans la console de gestion AWS et les calculer en tant que différence en pourcentage entre la durée d'exécution de la tâche d'entraînement et la durée facturée.

Quel que soit le nombre d'interruptions de vos tâches d'entraînement Spot géré, vous n'êtes facturé qu'une fois pour la durée pendant laquelle les données ont été téléchargées.

Q : Quelles instances puis-je utiliser avec l'entraînement Spot géré ?

Vous pouvez utiliser l'entraînement Spot géré avec toutes les instances prises en charge dans Amazon SageMaker.

Q : Quelles sont les régions AWS prises en charge avec l'entraînement Spot géré ?

L'entraînement Spot géré prend en charge toutes les régions AWS où Amazon SageMaker est actuellement disponible.

Q : Existe-t-il des limites en ce qui concerne la taille du jeu de données que je peux utiliser pour l'entraînement ?

Aucune limite ne s'applique à la taille du jeu de données que vous pouvez utiliser pour l'entraînement de modèles avec Amazon SageMaker.

Q : Quels algorithmes le service Amazon SageMaker utilise-t-il pour générer des modèles ?

Amazon SageMaker comprend des algorithmes intégrés pour la régression linéaire, la régression logistique, le partitionnement en k-moyennes, l'analyse de composants de principaux, les machines de factorisation, l'algorithme Neural Topic Model, l'allocation de Dirichlet latente, les arbres de décision à gradient amplifié, l'algorithme sequence2sequence, les prédictions de séries chronologiques, le groupe word2vec et la classification d'images. SageMaker fournit aussi des conteneurs Apache MXNet, Tensorflow, Chainer, PyTorch, Gluon, Keras, Horovod, Scikit-Learn, et Deep Graph Library optimisés. De plus, Amazon SageMaker prend en charge vos algorithmes de formation personnalisés fournis par le biais d'une image Docker conforme aux spécifications documentées.

Q : Qu'est-ce que le réglage de modèle automatique ?

La plupart des algorithmes ML exposent divers paramètres contrôlant la façon dont l'algorithme sous-jacent fonctionne. Ces paramètres sont généralement appelés hyperparamètres, et leurs valeurs affectent la qualité des modèles entraînés. Le réglage de modèle automatique consiste en la recherche d'hyperparamètres pour un algorithme pouvant assumer un modèle optimal.

Q : Quels modèles peuvent être ajustés avec Automatic Model Tuning ?

Vous avez la possibilité d'exécuter le réglage de modèle automatique dans Amazon SageMaker avant tout autre algorithme à condition que cela soit techniquement faisable, notamment les algorithmes SageMaker intégrés, les réseaux de neurones approfondis ou encore les algorithmes arbitraires que vous importez dans SageMaker sous la forme d'images Docker.

Q : Puis-je utiliser Automatic Model Tuning en dehors d'Amazon SageMaker ?

Pas à l'heure actuelle. Vous profiterez des meilleures performances et expériences de réglage de modèle dans Amazon SageMaker.

Q : Quel est l'algorithme de réglage sous-jacent pour le réglage automatique des modèles ?

Actuellement, l'algorithme de réglage des hyperparamètres est une mise en œuvre personnalisée de l'optimisation bayésienne. Il vise à optimiser une métrique d'objectif spécifique au client par l'intermédiaire d'un processus de réglage. Plus particulièrement, il vérifie les métriques d'objectifs de tâches d'entraînement terminées et s'appuie sur des connaissances pour en déduire la combinaison d'hyperparamètres appropriée pour la prochaine tâche d'entraînement.

Q : Est-ce que Automatic Model Tuning recommande des hyperparamètres spécifiques pour le réglage ?

Non. L'impact des hyperparamètres sur les performances d'un modèle dépend de divers facteurs, et il est difficile d'indiquer catégoriquement qu'un hyperparamètre est plus important que d'autres et qu'il doit par conséquent être ajusté. En ce qui concerne les algorithmes intégrés à Amazon SageMaker, nous déterminons si un hyperparamètre est ajustable ou non.

Q : Combien de temps prend une tâche de réglage d'hyperparamètres ?

La durée d'une tâche de réglage d'hyperparamètres dépend de plusieurs facteurs, dont la taille des données, l'algorithme sous-jacent et les valeurs des hyperparamètres. De plus, les clients peuvent choisir le nombre de tâches d'entraînement simultanées et le nombre total de tâches d'entraînement. Tous ces choix affectent la durée potentielle d'une tâche de réglage d'hyperparamètres.

Q : Puis-je optimiser simultanément plusieurs objectifs, par exemple optimiser un modèle pour gagner en rapidité et en précision ?

Pas à l'heure actuelle. Pour le moment, vous devez spécifier une seule métrique d'objectif afin d'optimiser ou de modifier votre code d'algorithme et émettre une nouvelle métrique, ce qui correspond à une moyenne pondérée entre deux métriques utiles ou plus. Après cela, vous lancez l'optimisation du processus de réglage pour cette métrique d'objectif.

Q : Combien coûte le réglage de modèle automatique ?

Une tâche d'ajustement d'hyperparamètre ne coûte rien en soi. Vous serez facturé en fonction des tâches d'entraînement lancées par la tâche de réglage des hyperparamètres, selon la tarification de l'entraînement du modèle.

Q : Comment décider d'utiliser Amazon SageMaker Autopilot ou Automatic Model Tuning ?

Amazon SageMaker Autopilot automatise tout dans un flux de ML typique (dont le prétraitement des fonctions, la sélection d'algorithmes et le réglage des hyperparamètres) tout en se concentrant spécifiquement sur les cas d'utilisation de classification et de régression. Le réglage de modèle automatique, en revanche, est conçu pour régler n'importe quel modèle, qu'il soit basé sur des algorithmes intégrés, des cadres de deep learning ou des conteneurs personnalisés. En échange de cette flexibilité, vous devez choisir manuellement l'algorithme spécifique, les hyperparamètres à régler et les plages de recherche correspondantes.

Q : Qu'est-ce que l'apprentissage par renforcement ?

L'apprentissage par renforcement est une technique de ML qui permet à un agent d'apprendre à tâtonnement au sein d'un environnement interactif à l'aide de retours générés à la suite de ses propres actions et expériences.

Q : Est-il possible d'entraîner des modèles d'apprentissage par renforcement dans Amazon SageMaker ?

Oui, vous pouvez former des modèles d'apprentissage à renforcement dans Amazon SageMaker en plus des modèles d'apprentissage supervisés et non supervisés.

Q : En quoi l'apprentissage par renforcement se distingue-t-il de l'apprentissage supervisé ?

L'apprentissage supervisé et l'apprentissage par renforcement utilisent tous deux le mappage entre l'entrée et la sortie. Cependant, l'apprentissage par renforcement privilégie l'usage de retours différés où les signaux de récompense sont optimisés pour assurer un but à long terme par le biais d'une séquence d'actions, au contraire de l'apprentissage supervisé où les retours fournis à l'agent consistent en un ensemble d'actions appropriées pour effectuer une tâche donnée.

Q : Quand dois-je utiliser l'apprentissage par renforcement ?

L'objectif des méthodes d'apprentissage supervisé est de trouver la bonne réponse selon les schémas des données d'entraînement, tandis que l'objectif des méthodes d'apprentissage non supervisé est de trouver les similitudes et différences entre des points de données. Inversement, le but des techniques d'apprentissage par renforcement (RL) est d'apprendre comment atteindre un résultat espéré, même si la méthode pour y parvenir n'est pas évidente. Par conséquent, l'apprentissage par renforcement est plus adapté aux applications intelligentes où un agent est en mesure de prendre des décisions autonomes, par exemple la robotique, les véhicules autonomes, les systèmes CVC, les commandes industrielles et plus encore.

Q : Quelles sortes d'environnements puis-je utiliser pour l'entraînement de modèles RL ?

Amazon SageMaker RL prend en charge divers environnements pour l'entraînement de modèles RL. Vous pouvez utiliser les services AWS, comme AWS RoboMaker, les environnements open source ou les environnements personnalisés développés à l'aide d'interfaces Open AI Gym, ou des environnements de simulation commerciale, comme MATLAB et SimuLink.

Q : Dois-je écrire mes propres algorithmes d'agents RL pour entraîner mes modèles RL ?

Non, Amazon SageMaker RL dispose de boîtes à outils RL, comme Coach et Ray RLLib, qui proposent d'implémentations d'algorithmes d'agents RL, comme DQN, PPO, A3C et plus encore.

Q : Puis-je apporter mes propres bibliothèques et implémentations d'algorithmes RL et les exécuter dans Amazon SageMaker RL ?

Oui, vous pouvez apporter vos propres bibliothèques et implémentations d'algorithmes RL dans des conteneurs Docker et exécuter ces bibliothèques et implémentations dans Amazon SageMaker RL.

Q : Est-il possible d'opérer des déploiements distribués à l'aide de l'apprentissage à renforcement Amazon SageMaker ?

Oui. Vous pouvez même sélectionner un cluster hétérogène où l'entraînement et les simulations peuvent s'exécuter sur une instance GPU et sur plusieurs instances CPU, respectivement.

Q : Quelles sont les options de déploiement offertes par Amazon SageMaker ?

Après avoir créé et entraîné des modèles, Amazon SageMaker propose trois options de déploiement afin que vous puissiez commencer à faire des prédictions. L'inférence en temps réel convient aux charges de travail exigeant une latence de l'ordre de la milliseconde, des charges utiles allant jusqu'à 6 Mo et des temps de traitement allant jusqu'à 60 secondes. La transformation par lots est idéale pour les prédictions hors ligne sur de grands lots de données qui sont disponibles à l'avance. L'inférence asynchrone est conçue pour les charges de travail qui n'ont pas besoin d'une latence inférieure à une seconde, d'une taille de charge utile allant jusqu'à 1 Go et d'un temps de traitement allant jusqu'à 15 minutes. 

Q : Qu'est-ce que l'inférence asynchrone d'Amazon SageMaker ?

L'inférence asynchrone Amazon SageMaker met les requêtes entrantes en file d'attente, puis les traite de manière asynchrone. Cette option s'avère idéale pour les requêtes avec de grandes tailles de charges utiles et/ou de longs temps de traitement, et qui doivent être traitées à mesure qu'elles arrivent. Vous avez également la possibilité de configurer en option les paramètres de scalabilité automatique pour réduire le nombre d'instances à zéro lorsqu'elles ne traitent pas activement les requêtes, et ce afin de réduire les coûts. 

Q : Comment puis-je configurer les paramètres de scalabilité automatique pour réduire le nombre d'instances à zéro lorsqu'elles ne traitent pas activement des requêtes ?

Vous pouvez réduire à zéro le nombre d'instances du point de terminaison d'inférence asynchrone Amazon SageMaker afin d'économiser sur les coûts lorsque vous ne traitez pas activement des requêtes. Vous devez définir une politique de mise à l'échelle en fonction de la métrique personnalisée « ApproximateBacklogPerInstance » et régler la valeur « MinCapacity » sur zéro. Pour des instructions étape par étape, référez-vous à la section Mise à l'échelle automatique d'un point de terminaison asynchrone du guide du développeur. 

Q : Qu'est-ce qu'Amazon SageMaker Serverless Inference ?

Amazon SageMaker Serverless Inference est une option de diffusion de modèles sans serveur sur mesure qui facilite le déploiement et la mise à l'échelle de modèles de machine learning. Les points de terminaison SageMaker Serverless Inference démarrent automatiquement les ressources de calcul et les mettent à l'échelle (scale-in ou scale-out) en fonction du trafic, rendant ainsi inutile la sélection du type d'instance, l'exécution de la capacité allouée ou la gestion de la mise à l'échelle. Vous pouvez éventuellement spécifier la mémoire requise pour votre point de terminaison d'inférence sans serveur. Vous ne payez que la durée d'exécution du code d'inférence et la quantité de données traitées, pas les périodes d'inactivité.

Q : Pourquoi utiliser Amazon SageMaker Serverless Inference ?

Amazon SageMaker Serverless Inference simplifie l'expérience de développement en rendant inutiles l'allocation initiale de capacité et la gestion des politiques de mise à l'échelle. SageMaker Serverless Inference peut passer instantanément de quelques dizaines à quelques milliers d'inférences en quelques secondes en fonction des modèles d'utilisation, ce qui en fait l'outil idéal pour les applications ML ayant un trafic intermittent ou imprévisible. Par exemple, un service de chatbot utilisé par une entreprise de traitement de la paie connaît une augmentation du nombre de demandes à la fin du mois, tandis que le trafic est intermittent le reste du mois. Approvisionner des instances pour le mois entier dans de tels scénarios n'est pas rentable, car vous finissez par payer pour les périodes d'inactivité. SageMaker Serverless Inference permet de traiter ces types de cas d'utilisation en mettant à votre disposition une solution de mise à l'échelle clé en main rapide et automatique, sans que vous ayez besoin de prévoir le trafic ou de gérer des politiques de mise à l'échelle. De plus, vous ne payez que le temps de calcul nécessaire pour exécuter votre code d'inférence (facturé en millisecondes) et le traitement des données, ce qui en fait une option rentable pour les charges de travail à trafic intermittent.

Q : Qu'est-ce que le shadow testing d'Amazon SageMaker ?

SageMaker vous aide à exécuter des shadow tests pour évaluer un nouveau modèle ML avant la mise en production en testant ses performances par rapport au modèle actuellement déployé. SageMaker déploie le nouveau modèle en mode fantôme à côté du modèle de production actuel et met en miroir une partie du trafic de production spécifiée par l'utilisateur vers le nouveau modèle. Il enregistre éventuellement les inférences du modèle pour une comparaison hors ligne. Il fournit également un tableau de bord en direct avec une comparaison des principales mesures de performance, telles que la latence et le taux d'erreur, entre le modèle de production et le modèle fantôme pour vous aider à décider si vous devez promouvoir le nouveau modèle en production.

Q : Pourquoi devrais-je utiliser SageMaker pour le shadow testing ?

SageMaker simplifie le processus de mise en place et de surveillance des variantes fantômes afin que vous puissiez évaluer les performances du nouveau modèle ML sur le trafic de production en direct. Avec SageMaker, vous n'avez plus besoin d'orchestrer l'infrastructure pour les tests parallèles. Il vous permet de contrôler les paramètres de test tels que le pourcentage de trafic renvoyé vers la variante fantôme et la durée du test. Par conséquent, vous pouvez commencer modestement et augmenter les demandes d'inférence au nouveau modèle après avoir pris confiance dans la performance du modèle. SageMaker crée un tableau de bord en direct affichant les différences de performance sur les principaux paramètres, afin que vous puissiez facilement comparer les performances des modèles pour évaluer comment le nouveau modèle diffère du modèle de production.

Q : Qu'est-ce qu'Amazon SageMaker Inference Recommender ?

Amazon SageMaker Inference Recommender est une nouvelle fonctionnalité d'Amazon SageMaker qui accélère la mise en production des modèles de machine learning en automatisant le comparatif des performances et en ajustant les performances des modèles entre les instances SageMaker ML. Vous pouvez désormais utiliser SageMaker Inference Recommender pour déployer votre modèle sur un point de terminaison qui fournit des performances optimales et réduit les coûts. Vous pouvez commencer à utiliser SageMaker Inference Recommender en quelques minutes tout en sélectionnant un type d'instance et recevoir, en quelques heures, des recommandations pour optimiser les configurations des points de terminaison, ce qui vous évite de longues semaines de tests et de réglages manuels. Avec SageMaker Inference Recommender, il n'y a pas de frais supplémentaires : vous payez uniquement les instances ML SageMaker utilisées au cours des tests de charges.

Q : Pourquoi devrais-je utiliser Amazon SageMaker Inference Recommender ?

Il est conseillé d'utiliser SageMaker Inference Recommender pour obtenir des recommandations quant à la configuration de point de terminaison idéale à définir pour améliorer les performances et réduire les coûts. Auparavant, les scientifiques des données désireux de déployer leurs modèles devaient effectuer des comparaisons manuelles pour sélectionner la configuration optimale. Ils devaient d'abord choisir le type d'instance de machine learning adéquat parmi plus de 70 types disponibles en fonction des besoins en ressources de leurs modèles et d'exemples de charges utiles, puis optimiser les modèles pour tenir compte des différents dispositifs matériels. Ensuite, ils devaient mener des tests de charge complets pour valider le respect des exigences en termes de latence et de débit, et s'assurer que les coûts étaient faibles. SageMaker Inference Recommender simplifie considérablement les choses en vous permettant : 1) de commencer à travailler en l'espace de quelques minutes avec une recommandation d'instance ; 2) de mener des tests de charge sur les différents types d'instance afin d'obtenir des recommandations sur la configuration de votre point de terminaison en l'espace de quelques heures ; 3) de régler automatiquement les paramètres du serveur de modèles et de conteneurs, et d'effectuer des optimisations de modèle pour un type d'instance donné.

Q : Comment Amazon SageMaker Inference Recommender fonctionne-t-il avec d'autres services AWS ?

Les analystes de données peuvent accéder à Amazon SageMaker Inference Recommender depuis SageMaker Studio, AWS SDK pour Python (Boto3) ou AWS CLI. Ils peuvent obtenir des recommandations de déploiement dans SageMaker Studio dans le registre de modèles SageMaker pour les versions enregistrées du modèle. Ils peuvent également rechercher les recommandations et les filtrer par le biais de SageMaker Studio, d'AWS SDK ou d'AWS CLI.

Q : Amazon SageMaker Inference Recommender peut-il prendre en charge les points de terminaison multi-modèles ou multi-conteneurs ?

Non, pour le moment, un seul modèle est pris en charge par point de terminaison.

Q : Quels sont les types de points de terminaison pris en charge par SageMaker Inference Recommender ?

Pour le moment, nous ne prenons en charge que les points de terminaison en temps réel.

Q : Puis-je utiliser SageMaker Inference Recommender dans une région et effectuer des tests comparatifs dans d'autres régions ?

Lors du lancement, nous prendrons en charge toutes les régions prises en charge par Amazon SageMaker, à l'exception des régions AWS de Chine.

Q : Amazon SageMaker Inference Recommender prend-il en charge les instances Amazon EC2 Inf1 ?

Oui, nous prenons en charge tous les types de conteneurs. Amazon EC2 Inf1, basé sur la puce AWS Inferentia, nécessite un artefact de modèle compilé à l'aide du compilateur Neuron ou d'Amazon SageMaker Neo. Une fois que vous avez un modèle compilé pour une cible Inferentia et l'URI de l'image conteneur associée, vous pouvez utiliser Amazon SageMaker Inference Recommender pour évaluer différents types d'instances Inferentia.

Q : Qu'est-ce qu'Amazon SageMaker Model Monitor ?

Amazon SageMaker Model Monitor permet aux développeurs de détecter et de corriger les dérives de concept. SageMaker Model Monitor détecte automatiquement les dérives de concept dans les modèles déployés et fournit des alertes détaillées qui aident à identifier la source du problème. Tous les modèles formés dans SageMaker émettent automatiquement des métriques clés qui peuvent être collectées et visualisées dans Amazon SageMaker Studio. À partir de SageMaker Studio, vous pouvez configurer les données à collecter, les modalités de visualisation et quand vous souhaitez recevoir des alertes.

Q : Puis-je accéder à l'infrastructure sur laquelle Amazon SageMaker s'exécute ?

Non. Amazon SageMaker gère l'infrastructure de calcul à votre place, lui permettant d'effectuer des vérifications de l'état de santé, d'appliquer des correctifs de sécurité et de réaliser d'autres opérations de maintenance quotidienne. Vous pouvez également déployer les artefacts de modèle de la formation avec un code d'inférence personnalisé dans votre propre environnement d'hébergement.

Q : Comment adapter la taille et les performances d'un modèle Amazon SageMaker après son déploiement en production ?

L'hébergement d'Amazon SageMaker s'adapte automatiquement aux performances nécessaires à votre application à l'aide de la scalabilité automatique des applications. En outre, vous pouvez modifier manuellement le nombre et le type d'instances tout en évitant les temps d'arrêt, en modifiant la configuration des points de terminaison.

Q : Comment surveiller mon environnement de production Amazon SageMaker ?

Amazon SageMaker émet des métriques de performances dans Amazon CloudWatch Metrics pour vous permettre de suivre les métriques, de définir des alarmes et de réagir automatiquement aux fluctuations du trafic de production. De plus, Amazon SageMaker écrit des journaux dans Amazon CloudWatch Logs pour que vous puissiez surveiller et dépanner votre environnement de production.

Q : Quels types de modèles peuvent être hébergés avec Amazon SageMaker ?

Amazon SageMaker peut héberger tous les modèles conformes aux spécifications documentées pour les images d'inférence Docker. Cela inclut les modèles créés à partir des artefacts de modèles et du code d'inférence Amazon SageMaker.

Q : Combien de requêtes d'API en temps réel simultanées le service Amazon SageMaker prend-il en charge ?

Le service Amazon SageMaker est conçu pour s'adapter à un grand nombre de transactions par seconde. Le nombre précis varie en fonction du modèle déployé et du nombre et du type d'instances sur lesquelles le modèle est déployé.

Q : Qu'est-ce que Batch Transform ?

Batch Transform vous permet d'exécuter des prédictions sur des lots de données de grande ou de petite taille. Il n'est pas nécessaire de fragmenter le jeu de données ni de gérer les points de terminaison en temps réel. Avec une API simple, vous pouvez demander des prédictions pour un grand nombre d'enregistrements de données et transformer ces données rapidement et facilement.

Q : Qu'est-ce qu'Amazon SageMaker Edge Manager ?

Amazon SageMaker Edge Manager est une fonctionnalité qui facilite l'optimisation, la sécurisation, la surveillance et la maintenance des modèles ML sur les flottes d'appareils en périphérie, tels que les caméras intelligentes, les robots, les ordinateurs personnels et les appareils mobiles. SageMaker Edge Manager aide les développeurs ML à utiliser leurs modèles ML sur différents appareils en périphérie à grande échelle.

Q : Comment puis-je démarrer avec Amazon SageMaker Edge Manager ?

Pour commencer avec Amazon SageMaker Edge Manager, vous devez compiler et créer des packages avec vos modèles ML entraînés dans le cloud, enregistrer vos appareils et les préparer avec le kit SDK SageMaker Edge Manager. Pour préparer votre modèle au déploiement, SageMaker Edge Manager utilise SageMaker Neo pour le compiler pour votre matériel de périphérie cible. Une fois un modèle compilé, SageMaker Edge Manager le signe avec une clé générée par AWS, puis crée un package du modèle avec son exécution et vos informations d'identification nécessaires afin de préparer son déploiement. Du côté de l'appareil, vous enregistrez votre appareil sur SageMaker Edge Manager, téléchargez le kit SDK SageMaker Edge Manager, puis suivez les instructions pour installer l'agent SageMaker Edge Manager sur vos appareils. Le bloc-notes du didacticiel présente un exemple étape par étape de la préparation des modèles et de leur connexion sur les appareils en périphérie avec SageMaker Edge Manager.

Q : Quels sont les appareils pris en charge par Amazon SageMaker Edge Manager ?

Amazon SageMaker Edge Manager prend en charge les appareils à CPU (ARM, x86) et GPU (ARM, Nvidia) courants avec les systèmes d'exploitation Linux et Windows. Avec le temps, SageMaker Edge Manager se développera pour prendre en charge d'autres processeurs incorporés et plateformes mobiles qui sont également pris en charge par SageMaker Neo.

Q : Dois-je utiliser Amazon SageMaker pour entraîner mon modèle afin d'utiliser Amazon SageMaker Edge Manager ?

Non. Vous pouvez entraîner vos modèles ailleurs ou utiliser un modèle pré-entraîné en open source ou par votre fournisseur de modèles.

Q : Dois-je utiliser Amazon SageMaker Neo pour compiler mon modèle afin d'utiliser Amazon SageMaker Edge Manager ?

Oui. Amazon SageMaker Neo convertit et compile vos modèles en un exécutable que vous pouvez ensuite mettre en package et déployer sur vos appareils en périphérie. Une fois le package du modèle déployé, l'agent Amazon SageMaker Edge Manager décompresse le package du modèle et exécute le modèle sur l'appareil.

Q : Comment déployer des modèles sur les appareils de périphérie ?

Amazon SageMaker Edge Manager stocke le package du modèle dans le compartiment Amazon S3 que vous spécifiez. Vous pouvez utiliser la fonction de déploiement OTA (par voie hertzienne) offerte par AWS IoT Greengrass ou tout autre mécanisme de déploiement de votre choix pour déployer le package du modèle sur les appareils à partir de votre compartiment S3.

Q : En quoi le kit SDK Amazon SageMaker Edge Manager diffère-t-il de l'exécution SageMaker Neo (dlr) ?

Neo dlr est une exécution open source qui exécute uniquement les modèles compilés par le service Amazon SageMaker Neo. Comparé au dlr open source, le kit SDK SageMaker Edge Manager comprend un agent professionnel sur l'appareil avec des fonctions supplémentaires de sécurité, ainsi que de gestion et de diffusion de modèles. Le kit SDK SageMaker Edge Manager est adapté au déploiement en production à grande échelle.

Q : Quelle est la relation entre Amazon SageMaker Edge Manager et AWS IoT Greengrass ?

Amazon SageMaker Edge Manager et AWS IoT Greengrass peuvent fonctionner ensemble dans votre solution IoT. Une fois le package de votre modèle ML créé avec SageMaker Edge Manager, vous pouvez utiliser la fonction de mise à jour OTA d'AWS IoT Greengrass pour déployer le package du modèle sur votre appareil. AWS IoT Greengrass vous permet de surveiller vos appareils IoT à distance, tandis que SageMaker Edge Manager vous aide à surveiller et maintenir les modèles ML sur les appareils.

Q : Quelle est la relation entre Amazon SageMaker Edge Manager et AWS Panorama ? Quand dois-je utiliser Amazon SageMaker Edge Manager plutôt qu'AWS Panorama ?

AWS offre le plus large et le plus riche ensemble de fonctionnalités pour l'exécution de modèles sur les appareils en périphérie. Nous disposons de services pour prendre en charge un large éventail de cas d'utilisation, notamment la reconnaissance d'images, la reconnaissance vocale et la maintenance prédictive.

Les entreprises qui souhaitent utiliser la reconnaissance d'images sur des appareils en périphérie, tels que les caméras et les appliances, peuvent utiliser AWS Panorama. Panorama offre des applications de reconnaissance d'images prêtes à déployer pour les appareils en périphérie. Pour démarrer avec AWS Panorama, il suffit de se connecter à la console cloud, de spécifier le modèle à utiliser dans Amazon S3 ou dans SageMaker, puis d'écrire la logique métier sous la forme d'un script Python. AWS Panorama compile le modèle pour l'appareil cible et crée un package d'application déployable sur vos appareils en quelques clics. En outre, les fournisseurs de logiciels indépendants qui souhaitent créer leurs propres applications personnalisées peuvent utiliser le kit SDK AWS Panorama, tandis que les fabricants d'appareils peuvent utiliser le kit SDK Device pour certifier leurs appareils pour AWS Panorama.

Les clients qui souhaitent créer leurs propres modèles et bénéficier d'un contrôle plus précis sur les fonctions de modèles peuvent utiliser Amazon SageMaker Edge Manager. SageMaker Edge Manager est un service géré permettant de préparer, d'exécuter, de surveiller et de mettre à jour des modèles ML dans des flottes d'appareils en périphérie (comme des robots ainsi que des caméras et des haut-parleurs intelligents). Il convient pour tous les cas d'utilisation, tels que le traitement du langage naturel, la détection de fraude et la maintenance prédictive. SageMaker Edge Manager est destiné aux développeurs en périphérie ML qui souhaitent disposer d'un contrôle sur leur modèle, notamment en concevant différentes caractéristiques de modèle et en surveillant la dérive des modèles. Tous les développeurs en périphérie ML peuvent utiliser SageMaker Edge Manager au moyen de la console SageMaker et des API SageMaker. SageMaker Edge Manager apporte les fonctionnalités de SageMaker pour créer, entraîner et déployer des modèles du cloud sur des appareils en périphérie.

Q : Dans quelles régions le service AWS Amazon SageMaker Edge Manager est-il disponible ?

Amazon SageMaker Edge Manager est disponible dans les six régions AWS suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), EU (Irlande), EU (Francfort) et Asie-Pacifique (Tokyo). Consultez la liste des services régionaux AWS pour plus de détails.

Q : Qu'est-ce qu'Amazon SageMaker Neo ?

Amazon SageMaker Neo permet aux modèles ML d'être entraînés une fois, puis d'être exécutés n'importe où dans le cloud et en périphérie. SageMaker Neo optimise automatiquement les modèles créés avec les cadres de deep learning courants qui peuvent être utilisés pour un déploiement sur plusieurs plateformes matérielles. Les modèles optimisés s'exécutent 25 fois plus vite et consomment moins d'un dixième des ressources des modèles ML types.

Q : Comment démarrer avec Amazon SageMaker Neo ?

Pour démarrer avec Amazon SageMaker Neo, vous devez vous connecter à la console Amazon SageMaker, choisir un modèle formé, suivre l'exemple de compilation de modèles, puis déployer le modèle ainsi obtenu sur votre plateforme matérielle cible.

Q : Quels sont les principaux composants d'Amazon SageMaker Neo ?

Amazon SageMaker Neo comprend deux composants majeurs : un compilateur et une exécution. Pour commencer, le compilateur Neo lit les modèles exportés par différents cadres. Il convertit alors les fonctions et opérations spécifiques au cadre en une représentation intermédiaire agnostique de cadre. Ensuite, il effectue une série d'optimisations. Puis, le compilateur génère du code binaire pour les opérations optimisées et les écrit dans la bibliothèque d'objets partagés. Le compilateur enregistre également la définition et les paramètres du modèle dans des fichiers séparés. Lors de l'exécution, l'exécution Neo charge les artefacts créés par le compilateur (définition de modèle, paramètres et bibliothèque d'objets partagés) pour exécuter le modèle.

Q : Ai-je besoin d'utiliser Amazon SageMaker pour entraîner mon modèle afin d'utiliser Amazon SageMaker Neo pour le convertir ?

Non. Vous pouvez former des modèles ailleurs et utiliser Neo afin de les optimiser pour des instances Amazon SageMaker ML ou des appareils AWS IoT Greengrass pris en charge.

Q : Quels modèles Amazon SageMaker Neo prend-il en charge ?

Amazon SageMaker Neo prend actuellement en charge les modèles les plus populaires de deep learning pour les applications de vision par ordinateur et les modèles d'arbre décisionnel utilisés aujourd'hui dans Amazon SageMaker. Neo optimise le fonctionnement des modèles AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet et DenseNet entraînés dans MXNet et TensorFlow, et les modèles de classification et RCF (Random Cut Forest) entraînés dans XGBoost.

Q : Quelles plateformes matérielles Amazon SageMaker Neo prend-il en charge ?

Vous trouverez les listes des instances cloud prises en charge, des appareils en périphérie et des versions de cadres dans la documentation d'Amazon SageMaker Neo.

Q : Dans quelles régions AWS le service Amazon SageMaker Neo est-il disponible ?

Pour voir la liste des régions prises en charge, consultez laliste des services régionaux AWS.

Q : Que sont les Amazon SageMaker Savings Plans ?

Amazon SageMaker Savings Plans offre un modèle de tarification à l'utilisation flexible pour Amazon SageMaker, en échange d'un engagement à un volume constant d'utilisation (mesuré en USD/heure) pendant 1 à 3 ans. Amazon SageMaker Savings Plans offre la plus grande flexibilité, et jusqu'à 64 % de réduction sur vos coûts. Ces plans s'appliquent automatiquement à l'utilisation des instances ML SageMaker éligibles, comme les blocs-notes SageMaker Studio, les blocs-notes SageMaker à la demande, SageMaker Processing, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference et SageMaker Batch Transform, indépendamment de la famille et de la taille d'instance ou de la région. Par exemple, vous pouvez à tout moment passer d'une instance de processeur ml.c5.xlarge s'exécutant dans la région USA Est (Ohio) à une instance ml.Inf1 s'exécutant dans la région USA Ouest (Oregon) pour des charges de travail d'inférence, et toujours bénéficier automatiquement de la tarification Savings Plans.

Q : Pourquoi utiliser Amazon SageMaker Savings Plans ?

Si votre consommation d'instances Amazon SageMaker (mesurée en USD/heure) est régulière et que vous utilisez plusieurs composants SageMaker ou que vous prévoyez une évolution de la configuration technologique (par exemple la famille d'instance ou la région) au fil du temps, SageMaker Savings Plans est très économique et offre une grande flexibilité pour modifier la configuration technologique sous-jacente en fonction des besoins des applications ou des innovations. La tarification Savings Plans s'applique automatiquement à l'utilisation de toutes les instances ML éligibles, sans intervention manuelle de votre part.

Q : Comment faire ses premiers pas avec Amazon SageMaker Savings Plans ?

Vous pouvez faire vos premiers pas avec les Savings Plans à partir d'AWS Cost Explorer dans la console de gestion AWS ou en utilisant l'API/la CLI. Vous pouvez aisément souscrire un engagement Savings Plans, et réaliser un maximum d'économies en suivant les recommandations disponibles dans AWS Cost Explorer. L'engagement horaire recommandé est basé sur votre historique d'utilisation à la demande et vos choix de type de plan, de période d'engagement et d'options de paiement. Une fois que vous avez souscrit à des Savings Plans, le tarif réduit correspondant sera automatiquement appliqué pour toute utilisation de capacités de calcul jusqu'au plafond prévu. Toute utilisation au-delà de ce plafond sera facturée aux tarifs à la demande standard.

Q : Quelle est la différence entre les Savings Plans pour Amazon SageMaker et les Compute Savings Plans pour Amazon EC2 ?

Ces Savings Plans n'offrent pas les mêmes services. SageMaker Savings Plans s'applique uniquement à l'utilisation des instances ML SageMaker.

Q : Comment fonctionne Savings Plans avec AWS Organizations/la facturation consolidée ?

Il est possible d'acheter Savings Plans dans n'importe quel compte d'une famille AWS Organizations/de facturation consolidée. Par défaut, les avantages des Savings Plans s'appliquent à l'utilisation sur tous les comptes d'une famille AWS Organizations/de facturation consolidée. Toutefois, vous pouvez également limiter les avantages des Savings Plans au compte qui a été utilisé pour leur achat.