Questions d'ordre général

Q : Qu'est-ce qu'Amazon SageMaker ?

Amazon SageMaker est un service entièrement géré permettant aux développeurs et aux spécialistes des données de créer, former et déployer rapidement et facilement des modèles de machine learning. SageMaker facilite chaque étape du processus de machine learning afin de rendre plus aisé le développement de modèles de haute qualité.

Q : Dans quelles régions le service Amazon SageMaker est-il disponible ?

Pour obtenir la liste des régions AWS prenant en charge Amazon SageMaker, veuillez consulter le tableau des régions AWS de toute l'infrastructure mondiale AWS. Pour en savoir plus, consultez régions et points de terminaison du document de références générales AWS.

Q : Quelle est la disponibilité du service Amazon SageMaker ?

Le service Amazon SageMaker est conçu pour offrir une haute disponibilité. Il n'y a ni fenêtres de maintenance ni arrêts programmés. Les API SageMaker fonctionnent dans les centres de données fiables et hautement disponibles Amazon. En outre, elles offrent une réplication de piles de service configurée dans trois installations au sein de chaque région AWS, afin d'assurer une tolérance aux pannes en cas de dysfonctionnement du serveur ou au niveau de la zone de disponibilité.

Q : Comment le service Amazon SageMaker sécurise-t-il mon code ?

Amazon SageMaker stocke votre code dans des volumes de stockage de machine learning, sécurisés par des groupes de sécurité et éventuellement chiffrés au repos.

Q : Quelles mesures de sécurité sont intégrées au service Amazon SageMaker ?

Amazon SageMaker garantit que les artefacts de modèles d'apprentissage automatique et d'autres artefacts du système sont chiffrés en transit et au repos. Les requêtes sont envoyées à l'API et à la console SageMaker par le biais d'une connexion sécurisée (SSL). Vous transmettez des rôles AWS Identity and Access Management à SageMaker pour accorder des autorisations d'accès aux ressources en votre nom pour la formation et le déploiement. Vous pouvez utiliser des compartiments Amazon S3 chiffrés pour les artefacts de modèles et les données, ainsi que pour transmettre une clé KMS à des blocs-notes, des tâches d'entraînement et des points de terminaison SageMaker. L'objectif, ici, est de chiffrer le volume de stockage de machine learning attaché. Amazon SageMaker prend également en charge Amazon Virtual Privacy Cloud (VPC) et AWS PrivateLink.

Q : Amazon SageMaker utilise-t-il ou partage-t-il des modèles, des données d'entraînement ou des algorithmes ?

Amazon SageMaker n'utilise pas et ne partage pas des modèles, des données d'entraînement ou des algorithmes. Nous sommes conscients du fait que, pour nos clients, la confidentialité et la sécurité des données sont primordiales. C'est pourquoi avec AWS, vous restez propriétaire de votre contenu et vous en gardez le contrôle grâce à des outils simples et puissants qui permettent de déterminer où votre contenu sera stocké, de sécuriser votre contenu en transit et au repos, ainsi que de gérer l'accès aux services et ressources AWS pour vos utilisateurs. Nous mettons également en œuvre un système élaboré responsable des contrôles techniques et physiques, visant à éviter tout accès ou toute divulgation non autorisés du contenu des clients. En tant que client, vous restez propriétaire de votre contenu et vous sélectionnez quels services AWS peuvent traiter, stocker et héberger votre contenu. Nous ne consultons pas votre contenu à quelque fin que ce soit sans votre consentement.

Q : Comment Amazon SageMaker m'est-il facturé ?

Vous payez les ressources de calcul, de stockage et de traitement des données d'apprentissage automatique que vous utilisez pour héberger le bloc-notes, former le modèle, réaliser des prédictions et journaliser les sorties. Amazon SageMaker vous permet de sélectionner le nombre et le type d'instances utilisées pour le bloc-notes hébergé, la formation et l'hébergement du modèle. Vous payez uniquement ce que vous utilisez, en fonction de votre consommation ; il n'y a pas de frais minimum et aucun engagement initial n'est requis. Pour en savoir plus, consultez la page relative à la tarification d'Amazon SageMaker.

Q : Comment optimiser mes coûts Amazon SageMaker, par exemple en détectant et en arrêtant les ressources inactives afin d'éviter les frais inutiles ?

Différentes bonnes pratiques vous permettent d'optimiser l'utilisation de vos ressources Amazon SageMaker. Certaines approches impliquent des optimisations de configuration, d'autres des solutions programmatiques. Vous trouverez un guide complet sur ce concept, avec didacticiels visuels et exemples de code, dans cet article de blog.

Q : Et si je possède mon propre bloc-notes, ma propre formation ou mon propre environnement d'hébergement ?

Amazon SageMaker fournit un flux de travail complet de bout en bout, mais vous pouvez à utiliser vos outils existants avec le service. Vous pouvez facilement transférer les résultats de chaque étape vers et depuis SageMaker en fonction de vos besoins métier.

Q : R est-il pris en charge par Amazon SageMaker ?

Oui, R est pris en charge par Amazon SageMaker. Vous pouvez utiliser R dans les instances SageMaker Notebook, qui incluent un noyau R pré-installé et la bibliothèque réticulaire. Le réticulaire offre une interface R pour le kit SDK Python d'Amazon SageMaker, ce qui permet aux praticiens du machine learning de créer, entraîner, ajuster et déployer des modèles R. 

Q : Comment puis-je rechercher des déséquilibres dans mon modèle ?

Amazon SageMaker Clarify contribue à l'amélioration de la transparence du modèle en détectant les biais statistiques dans l'ensemble du flux de travail ML. SageMaker Clarify recherche les déséquilibres pendant la préparation des données, après l'entraînement et de manière continue, et comprend des outils destinés à faciliter l'explication des modèles ML et leurs prédictions. Les résultats peuvent être partagés via des rapports d'explicabilité.

Q : Quel type de biais détecte Amazon SageMaker Clarify ?

La mesure du biais dans les modèles ML est la première étape de l'atténuation du biais. Le biais peut être mesuré avant et après l'entraînement, ainsi que pour l'inférence d'un modèle déployé. Chaque mesure de biais correspond à une notion différente d'équité. Même la prise en compte de simples notions d'équité conduit à un trop grand nombre de mesures différentes applicables dans divers contextes. Nous devons choisir des notions et des mesures de biais valides pour l'application et la situation étudiées. Nous prenons actuellement en charge le calcul de différentes métriques de biais pour les données d'entraînement (dans le cadre de la préparation des données de SageMaker), pour le modèle entraîné (dans le cadre de SageMaker Experiments) et pour l'inférence d'un modèle déployé (dans le cadre de SageMaker Model Monitor). Par exemple, avant l'entraînement, nous fournissons des métriques pour vérifier si les données d'entraînement sont représentatives (c'est-à-dire, si un groupe est sous représenté) s'il existe des différences de distribution des étiquettes entre les groupes. Après l'entraînement ou pendant le déploiement, nos métriques peuvent s'avérer utiles pour mesurer si (et dans quelle mesure) les performances du modèle diffèrent entre les groupes. Par exemple, nous pouvons commencer par comparer les taux d'erreurs (la probabilité que la prédiction du modèle diffère de l'étiquette réelle) ou aller plus loin dans la précision (la probabilité qu'une prédiction positive soit correcte) et le rappel (la probabilité que le modèle étiquette correctement un exemple positif).

Q : Comment Amazon SageMaker Clarify peut-il améliorer l'explicabilité du modèle ?

Amazon SageMaker Clarify est intégré à SageMaker Experiments pour présenter un graphique de l'importance des caractéristiques détaillant l'importance de chaque entrée dans le processus global de prise de décision de votre modèle après son entraînement. Ces informations peuvent contribuer à déterminer si une entrée spécifique du modèle a plus d'influence qu'elle ne le devrait sur son comportement global. SageMaker Clarify met également à disposition des explications des différentes prédictions via API afin qu'elles puissent être utilisées par les employés en contact direct avec les clients ou les parties intéressées.
 

Q : Qu'est-ce qu'Amazon SageMaker Studio ?

Amazon SageMaker Studio fournit une interface visuelle unique, basée sur le Web, qui vous permet de mettre en œuvre toutes les étapes du développement de machine learning. Grâce à SageMaker Studio, vous avez un accès, un contrôle et une visibilité complets sur chaque étape nécessaire à la création, la formation et le déploiement de modèles. Vous pouvez télécharger des données, créer des blocs-notes, entraîner et affiner des modèles, faire des aller-retours entre les étapes pour ajuster les expériences, comparer les résultats et déployer des modèles en production ; le tout rapidement et au même endroit, ce qui accroît votre productivité. Toutes les activités de développement de machine learning peuvent être effectuées à l'intérieur de l'interface visuelle unifiée de SageMaker Studio, notamment les blocs-notes, la gestion d'expériences, la création automatique de modèles, le débogage et le profilage, et la détection de dérive des modèles.

Q : Comment la tarification d'Amazon SageMaker Studio fonctionne-t-elle ?

Amazon SageMaker Studio est disponible sans frais supplémentaires. Vous ne payez que les frais sous-jacents de calcul et de stockage des services que vous utilisez dans Amazon SageMaker Studio.

Q : Q : Dans quelles régions le service Amazon SageMaker Studio est-il pris en charge ?

Les régions dans lesquelles Amazon SageMaker Studio est pris en charge figurent dans la documentation ici.

Machine learning low code

Q : Qu'est-ce qu'Amazon SageMaker Autopilot ?

Amazon SageMaker Autopilot est la première solution automatisée de machine learning du secteur à offrir un contrôle et une visibilité complets sur vos modèles de machine learning. SageMaker Autopilot inspecte automatiquement les données brutes, applique les processeurs de caractéristiques, sélectionne la meilleure combinaison d'algorithmes, entraîne et optimise de nombreux modèles, suit leurs performances et classe les modèles selon leurs performances, le tout en quelques clics. Le résultat : le modèle le plus performant qui puisse être déployé, en un temps infiniment plus court que celui normalement requis pour former le modèle. Vous avez une visibilité complète sur le processus de création du modèle et sur son contenu, et SageMaker Autopilot s'intègre dans Amazon SageMaker Studio. Vous pouvez explorer jusqu'à 50 modèles différents, générés par SageMaker Autopilot dans Amazon SageMaker Studio. Il est donc facile de choisir le modèle qui convient le mieux à votre utilisation. SageMaker Autopilot peut être utilisé sans expérience particulière en matière de machine learning pour produire un modèle en toute simplicité. Il peut également être utilisé par des développeurs expérimentés pour développer rapidement un modèle qui servira de base de travail à leurs équipes.

Q : En quoi Amazon SageMaker Autopilot est-il différent des services d'IA verticale comme Amazon Personalize et Amazon Forecast ?

Tandis qu'Amazon Personalize et Amazon Forecast ciblent précisément les recommandations personnalisées et la prévision des cas d'utilisation, Amazon SageMaker Autopilot est une solution de machine learning automatique générique pour les problèmes de régression et de classification, comme la détection des fraudes, l'analyse des pertes, et le marketing ciblé. Personalize et Forecast se concentrent sur la simplification de l'expérience de bout en bout en offrant formation et hébergement de modèle dans un lot. Vous pouvez former des modèles en utilisant Amazon SageMaker Autopilot et obtenir un accès complet aux modèles ainsi qu'aux pipelines qui ont généré les modèles. Ils peuvent ensuite déployer les modèles sur l'environnement d'hébergement de leur choix, ou continuer pour améliorer la qualité du modèle.

Q : Quels algorithmes intégrés sont pris en charge dans Amazon SageMaker Autopilot ?

Amazon SageMaker Autopilot prend en charge 2 algorithmes intégrés au lancement : XGBoost et Linear Learner.

Q : Puis-je arrêter manuellement une tâche Amazon SageMaker Autopilot ?

Oui. Vous pouvez arrêter une tâche à tout moment. Lorsqu'une tâche Amazon SageMaker Autopilot est arrêtée, toutes les évaluations en cours sont interrompues et aucune nouvelle évaluation ne sera démarrée.

Q : Comment démarrer rapidement avec Amazon SageMaker Neo ?

Amazon SageMaker JumpStart vous aide à vous familiariser rapidement et aisément avec le machine learning. SageMaker JumpStart fournit un ensemble de solutions pour les cas d'utilisation les plus courants qui peuvent être déployés en quelques clics. Les solutions sont entièrement personnalisables et présentent l'utilisation des modèles AWS CloudFormation ainsi que les architectures de référence pour que vous puissiez accélérer votre adoption du machine learning. SageMaker JumpStart prend également en charge le déploiement et la mise au point en un clic de plus de 150 modèles open source populaires tels que des modèles de transformation, de détection d'objets et de classification d'images.
 

Q : Quels modèles open source sont pris en charge avec Amazon SageMaker JumpStart ?

Amazon SageMaker JumpStart comprend plus de 150 modèles open source pré-entraînés de PyTorch Hub et TensorFlow Hub. Pour les tâches de vision, telles que la classification d'images et la détection d'objets, vous pouvez tirer avantage de modèles comme ResNet, MobileNet et Single-Shot Detector (SSD). Pour les tâches de texte, comme la classification de phrases et de textes, et la réponse à des questions, vous pouvez utiliser des modèles comme BERT, RoBERTa et DistilBERT.

Q : Quelles sont les solutions pré-configurées avec Amazon SageMaker Jumpstart ?

SageMaker JumpStart comprend des solutions pré-configurées avec tous les services AWS nécessaires pour lancer une solution en production. Ces solutions sont totalement personnalisables et peuvent ainsi être aisément modifiées et adaptées à votre cas d'utilisation et à votre ensemble de données spécifiques. Vous pouvez utiliser les solutions pour plus de 15 cas d'utilisation, dont la prévision de la demande, la détection de fraudes et la maintenance prédictive, mais aussi déployer facilement des solutions en quelques clics à peine. Pour plus d'informations sur l'ensemble des solutions disponibles, consultez la page Mise en route de SageMaker.
 

Q : Comment la tarification d'Amazon SageMaker JumpStart fonctionne-t-elle ?

Les services AWS lancés dans le cadre de l'utilisation de SageMaker JumpStart, comme les tâches d'entraînement et les points de terminaison, vous sont facturés sur la base de la tarification de SageMaker. Amazon SageMaker JumpStart est disponible sans frais supplémentaires.

Flux de travail de machine learning

Q : Comment puis-je créer un pipeline CI/CD avec Amazon SageMaker ?

Amazon SageMaker Pipelines vous aide à créer des flux de travail de ML entièrement automatisés, de la préparation des données au déploiement du modèle, pour permettre aux entreprises d'évoluer jusqu'à des milliers de modèles de ML en production. SageMaker Pipelines est accompagné d'un kit SDK Python qui se connecte à SageMaker Studio pour vous permettre de profiter d'une interface visuelle afin de créer chaque étape du flux de travail. Ensuite, à l'aide d'une seule API, vous pouvez connecter chaque étape pour créer un flux de travail de bout en bout. SageMaker Pipelines se charge de la gestion des données entre les étapes, de la création de packages des recettes de code et de l'orchestration de leur exécution, ramenant ainsi des mois de codage à quelques heures. À chaque exécution d'un flux de travail, un enregistrement complet des données traitées et des actions exécutées est conservé afin que les scientifiques des données et les développeurs ML puissent rapidement déboguer les problèmes.

Q . Comment puis-je visualiser tous mes modèles entraînés pour choisir le meilleur à mettre en production ?

Amazon SageMaker Pipelines offre un référentiel central des modèles entraînés, appelé registre de modèles. Vous pouvez découvrir des modèles et accéder au registre de modèles visuellement via SageMaker Studio ou par programmation via le kit SDK Python. Cela vous permet de choisir aisément le modèle à déployer en production.

Q . Quels composants d'Amazon SageMaker peuvent être ajoutés à Amazon SageMaker Pipelines ?

Les composants disponibles via Amazon SageMaker Studio, dont SageMaker Clarify, SageMaker Data Wrangler, SageMaker Feature Store, SageMaker Experiments, SageMaker Debugger et SageMaker Model Monitor, peuvent être ajoutés à SageMaker Pipelines.

Q . Comment puis-je suivre les composants de mon modèle dans l'ensemble du flux de travail ML ?

Amazon SageMaker Pipelines assure automatiquement le suivi de tous les éléments des modèles et conserve une piste d'audit de toutes les modifications, ce qui élimine tout suivi manuel et peut vous aider à atteindre vos objectifs en matière de conformité. SageMaker Pipelines vous permet de suivre les données, le code, les modèles entraînés, etc.

Q . Comment fonctionne la tarification d'Amazon SageMaker Pipelines ?

Amazon SageMaker Pipelines est disponible sans frais supplémentaires. Vous ne payez que les frais sous-jacents de calcul ou les éventuels services AWS que vous utilisez dans SageMaker Pipeline.

Q : Puis-je utiliser Kubeflow avec Amazon SageMaker ?

Oui. Les composants Amazon SageMaker pour les pipelines Kubeflow sont des modules d'extension open source qui vous permettent d'utiliser les pipelines Kubeflow pour définir vos flux de travail de machine learning et d'utiliser SageMaker pour les étapes d'étiquetage des données, d'entraînement et d'inférence. Kubeflow Pipelines est un module complémentaire pour Kubeflow qui vous permet de développer et de déployer des pipelines de machine learning de bout en bout portables et évolutifs. Cependant, lorsqu'elles utilisent Kubeflow Pipelines, les équipes d'opérateurs de machine learning doivent gérer un cluster Kubernetes avec des instances de CPU et de GPU et maintenir son utilisation élevée en permanence pour réduire les frais d'utilisation. La maximisation de l'utilisation d'un cluster dans l'ensemble des équipes de science des données est un défi et ajoute des tâches aux équipes opérationnelles de machine learning. En tant qu'alternative à un cluster Kubernetes optimisé pour le machine learning, avec Amazon SageMaker Components for Kubeflow Pipelines, vous pouvez tirer parti de puissantes fonctionnalités SageMaker, telles que l'étiquetage des données, le réglage des hyperparamètres à grande échelle entièrement géré et les tâches d'entraînement distribuées, le déploiement en un clic de modèles sécurisés et scalables et l'entraînement économique via des instances Amazon EC2 Spot sans devoir configurer et gérer des clusters Kubernetes pour exécuter spécifiquement les tâches de machine learning.

Q : Comment fonctionne la tarification d'Amazon SageMaker Components for Kubeflow Pipelines ?

Amazon SageMaker Components for Kubeflow Pipelines est disponible sans frais supplémentaires.
 

Préparation des données

Q : Comment Amazon SageMaker peut-il préparer les données pour le machine learning ?

Amazon SageMaker Data Wrangler réduit le temps nécessaire pour regrouper et préparer des données pour le machine learning. À partir d'une seule et même interface dans SageMaker Studio, vous pouvez importer des données d'Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation et Amazon SageMaker Feature Store. Ensuite, il suffit de quelques clics pour que SageMaker Data Wrangler charge, agrège et affiche automatiquement les données brutes. Il effectue ensuite les recommandations de conversion sur la base des données source, transforme les données en nouvelles caractéristiques, les valide et fournit des visualisations avec des recommandations sur la façon d'éliminer des sources d'erreur fréquentes, telles que des étiquettes incorrectes. Une fois vos données préparées, vous pouvez créer des flux de travail de machine learning entièrement automatisés avec Amazon SageMaker Pipelines ou importer ces données dans Amazon SageMaker Feature Store.

Q . Comment puis-je créer des caractéristiques de modèle avec Amazon SageMaker Data Wrangler ?

Sans l'écriture d'une seule ligne de code, Amazon SageMaker Data Wrangler peut transformer automatiquement vos données en nouvelles caractéristiques. SageMaker Data Wrangler offre une sélection de transformations de données pré-configurées, telles que la conversion de type de colonne, l'encodage one hot, l'attribution de données manquantes avec moyenne ou médiane, remise à l'échelle de colonnes et l'incorporation de date/heure. Par exemple, vous pouvez convertir une colonne de champ de texte en une colonne numérique en un seul clic ou créer des transformations personnalisées dans PySpark, SQL et Pandas.

Q : Comment puis-je visualiser mes données dans Amazon SageMaker Data Wrangler ?

Amazon SageMaker Data Wrangler vous aide à comprendre vos données et identifier des erreurs potentielles et des valeurs extrêmes avec un ensemble de modèles de visualisation pré-configurés. Des histogrammes, des nuages de points et des visualisations spécifiques ML, telles que la détection de fuite de données, sont disponibles sans l'écriture de la moindre ligne de code. Vous pouvez également créer et modifier vos propres visualisations.

Q . Comment fonctionne la tarification d'Amazon SageMaker Data Wrangler ?

Les ressources de traitement de données, de stockage et de calcul ML que vous utilisez pour Amazon SageMaker Data Wrangler vous sont facturées. Des informations détaillées sur la tarification d'Amazon SageMaker Data Wrangler sont disponibles ici. Dans le cadre de l'offre gratuite d'AWS, vous pouvez également commencer à utiliser Amazon SageMaker Data Wrangler gratuitement.

Q : Comment puis-je stocker les caractéristiques de mes modèles ML ?

Amazon SageMaker Feature Store offre un référentiel central pour les caractéristiques de données avec des lecteurs et des écritures à faible latence (millisecondes). Les caractéristiques peuvent être stockées, récupérés, découvertes et partagées via SageMaker Feature pour une réutilisation aisée entre modèles et équipes avec un accès et contrôle sécurisés. SageMaker Feature Store prend en charge les caractéristiques en ligne et hors ligne générées via pipelines par lot ou en streaming. Il prend en charge le remplissage des caractéristiques et offre des référentiels en ligne et hors ligne pour maintenir la parité entre les caractéristiques utilisées dans l'entraînement et l'inférence du modèle.

Q : Comment puis-je maintenir la cohérence entre les caractéristiques en ligne et hors ligne ?

Amazon SageMaker Feature Store maintient automatiquement la cohérence entre les caractéristiques en ligne et hors ligne sans gestion ni code supplémentaire. SageMaker Feature Store est entièrement géré et maintient la cohérence entre les environnement d'entraînement et d'inférence.

Q : Comment puis-je reproduire une caractéristique à partir d'un moment donné dans le temps ?

Amazon SageMaker Feature Store conserve un horodatage de toutes les caractéristiques à tout moment dans le temps. Cela vous permet de récupérer des caractéristiques à tout moment pour répondre à des exigences commerciales ou de conformité. Vous pouvez aisément expliquer les caractéristiques d'un modèle et leurs valeurs depuis leur création jusqu'à l'instant présent en reproduisant le modèle à partir d'un moment précis dans le temps.

Q : Que sont les caractéristiques hors ligne ?

Les caractéristiques hors ligne sont utilisées pour l'entraînement, car vous devez accéder à des volumes très importants sur une longue période. Ces caractéristiques sont diffusées à partir d'un référentiel haut débit et à bande passante élevée.

Q : Que sont les caractéristiques en ligne ?

Les caractéristiques en ligne sont utilisées dans les applications qui doivent effectuer des prédictions en temps réel. Les caractéristiques en ligne sont diffusées à partir d'un référentiel haut débit avec une latence à un seul chiffre pour assurer la rapidité des prédictions.

Q : Comment fonctionne la tarification d'Amazon SageMaker Feature Store ?

Vous pouvez commencer gratuitement avec Amazon SageMaker Feature Store dans le cadre de l'offre gratuite d'AWS. Avec SageMaker Feature Store, vous payez l'écriture dans le référentiel de caractéristiques et la lecture et le stockage dans le référentiel de caractéristiques en ligne. La page de tarification de SageMaker présente le fonctionnement détaillé de la facturation de SageMaker Feature Store.

Q : Qu'est-ce que Amazon SageMaker Ground Truth ?

Amazon SageMaker Ground Truth assure l'étiquetage automatique de données à l'aide du machine learning. SageMaker Ground Truth sélectionnera d'abord un échantillon aléatoire de données et l'enverra Amazon Mechanical Turk pour qu'il soit étiqueté. Les résultats sont ensuite utilisés pour former un modèle d'étiquetage qui tente d'étiqueter automatiquement un nouvel échantillon de données brutes. Les étiquettes sont validées lorsque le modèle peut étiqueter les données avec un score de confiance égal ou supérieur au seuil que vous avez défini. Lorsque le score de confiance tombe en dessous de votre seuil, les données sont envoyées aux étiqueteurs humains. Certaines des données étiquetées par les humains sont utilisées pour générer un nouvel ensemble de données de formation pour le modèle d'étiquetage. Le modèle est automatiquement reformé pour améliorer sa précision. Ce processus se répète avec chaque échantillon de données brutes à étiqueter. Les capacités d'étiquetage automatique des données brutes du modèle d'étiquetage s'améliorent à chaque itération, et moins de données sont acheminées vers les humains.
 

Création de modèles

Q : Que sont les blocs-notes Amazon SageMaker Studio ?

Amazon SageMaker Studio Notebook est une nouvelle expérience de blocs-notes Jupyter collaborative, flexible et gérée qui fait partie d'Amazon SageMaker Studio, un environnement de développement entièrement intégré pour le machine learning.

Q : En quoi les blocs-notes SageMaker Studio sont-ils différents des blocs-notes basés sur des instances ?

Les blocs-notes SageMaker Studio offrent quelques fonctionnalités importantes qui les différencient des blocs-notes basés sur des instances. Grâce à la nouvelle expérience de blocs-notes, vous pouvez désormais lancer rapidement des blocs-notes sans avoir à allouer manuellement une instance et attendre qu'elle soit opérationnelle. Le temps de démarrage du lancement de l'interface utilisateur pour lire et exécuter un bloc-notes est plus rapide que celui des blocs-notes basés sur une instance.

Vous avez également la possibilité de choisir à tout moment parmi un large ensemble de types d'instances dans l'interface utilisateur. Vous ne devrez plus accéder à la console AWS pour démarrer de nouvelles instances et transférer vos blocs-notes.

Chaque utilisateur a un répertoire de départ isolé indépendant d'une instance particulière. Ce répertoire est automatiquement monté dans tous les serveurs et noyaux de blocs-notes au démarrage, de sorte que vous pouvez accéder à vos blocs-notes et autres fichiers, même lorsque vous changez d'instance pour visualiser et exécuter vos blocs-notes.

Les blocs-notes SageMaker Studio sont intégrés à AWS SSO, ce qui facilite l'utilisation de vos informations d'identification d'organisation pour accéder aux blocs-notes. Le partage de blocs-notes est une fonctionnalité intégrée aux blocs-notes SageMaker Studio. Vous pouvez également partager vos blocs-notes avec vos pairs en un seul clic.

Q : Quels types de blocs-notes sont pris en charge ?

Les blocs-notes Jupyter sont actuellement pris en charge.

Q : Comment fonctionnent les blocs-notes Amazon SageMaker Studio ?

Les blocs-notes Amazon SageMaker Studio sont des blocs-notes Jupyter en un clic qui peuvent être démarrés rapidement. Les ressources de calcul sous-jacentes sont entièrement élastiques, vous pouvez donc facilement composer les ressources disponibles ou les diminuer, et les modifications ont lieu automatiquement en arrière-plan sans interrompre votre travail. SageMaker permet également le partage automatique des blocs-notes en un clic. Vous pouvez facilement partager des blocs-notes avec d'autres personnes, et elles recevront exactement le même bloc-notes, enregistré au même endroit.

Avec les blocs-notes SageMaker, vous pouvez vous connecter avec vos identifiants d'entreprise en utilisant AWS SSO. Le partage de blocs-notes au sein des équipes et entre elles est facile, car les dépendances nécessaires à l'exécution d'un bloc-notes sont automatiquement suivies dans les images de travail qui sont encapsulées avec le bloc-notes lors de son partage.

Q : Comment fonctionnent les blocs-notes Amazon SageMaker Studio avec d'autres services AWS ?

Les blocs-notes Amazon SageMaker Studio vous donnent accès à toutes les fonctionnalités SageMaker, comme un entraînement distribué, la transformation par lot, l'hébergement et la gestion d'expérimentations. Vous pouvez désormais accéder à d'autres services comme des ensembles de données dans Amazon S3, Amazon Redshift, AWS Glue, Amazon EMR, ou AWS Lake Formation à partir des Notebooks SageMaker.

Q : Comment la tarification des blocs-notes Amazon SageMaker Studio fonctionne-t-elle ?

Lorsque vous utilisez les blocs-notes SageMaker Studio, vous payez à la fois pour le calcul et le stockage. Pour connaître les frais applicables par type d'instance de calcul, consultez la page Tarification d'Amazon SageMaker. Vos blocs-notes et les artefacts associés, tels que les scripts et les fichiers de données, sont maintenus sur Amazon EFS. Pour connaître les frais applicables en matière de stockage, consultez la page Tarification d'Amazon EFS. Dans le cadre de l'offre gratuite d'AWS, vous pouvez commencer à utiliser les blocs-notes Amazon SageMaker Studio gratuitement.

Q : Chaque bloc-notes créé et exécuté dans SageMaker Studio me sera-t-il facturé séparément ?

Non. Vous pouvez créer et exécuter plusieurs blocs-notes sur la même instance de calcul. Vous payez uniquement pour le calcul que vous utilisez, et non pas pour des éléments individuels. Pour en savoir plus à ce sujet, consultez notre guide de mesure.

En plus des blocs-notes, vous pouvez également lancer et exécuter des terminaux et des shells interactifs dans Studio, le tout sur la même instance de calcul. Chaque application s'exécute au sein d'un conteneur ou d'une image. SageMaker Studio fournit plusieurs images intégrées, spécialement conçues et préconfigurées pour la science des données et le machine learning. Pour en savoir plus sur l'environnement de développement de Studio, consultez notre guide d'utilisation des blocs-notes SageMaker Studio.

Q : Comment puis-je contrôler et arrêter les ressources utilisées par mes blocs-notes ?

Vous pouvez contrôler et arrêter les ressources utilisées par vos blocs-notes SageMaker Studio par le biais de l'interface visuelle de SageMaker Studio ou d'AWS Management Console. Pour plus d'informations, consultez la documentation.

Q : J'exécute un bloc-notes SageMaker Studio. Vais-je quand même être facturé si je ferme mon navigateur, ferme l'onglet du bloc-notes ou laisse simplement le navigateur ouvert ?

Oui, vous continuerez à être facturé pour le calcul. Cela fonctionne de la même manière que si vous lancez des instances EC2 dans AWS Management Console, puis fermez le navigateur. Les instances EC2 continuent de s'exécuter, et des frais vous sont donc facturés à moins que vous n'arrêtiez explicitement l'instance.

Q : Vais-je être facturé si je crée et configure un domaine Studio ?

Non. La création ou la configuration d'un domaine Studio n'est pas facturée, et ce, notamment si vous ajoutez, mettez à jour ou supprimez des profils d'utilisateur.

Q : Comment puis-je connaître les frais détaillés applicables aux blocs-notes Studio ou aux autres services de SageMaker ?

En tant qu'administrateur, vous pouvez consulter la liste des frais détaillés applicables à SageMaker, et notamment à Studio, dans AWS Billing Console. Dans la console AWS Management Console de SageMaker, choisissez Services dans le menu supérieur, saisissez Facturation dans la zone de recherche et sélectionnez Facturation dans le menu déroulant, puis Factures dans le volet de gauche. Dans la section Détails, vous pouvez cliquer sur SageMaker pour développer la liste des régions et consulter les frais détaillés.

Former des modèles

Q. Qu'est-ce qu'Amazon SageMaker Experiments ?

Amazon SageMaker Experiments vous permet d'organiser et de suivre les itérations sur les modèles de machine learning. SageMaker Experiments vous permet de gérer les itérations en capturant automatiquement les paramètres d'entrée, les configuration et les résultats, puis en les stockant en tant qu'« expériences ». Vous pouvez travailler dans l'interface visuelle de SageMaker Studio, où vous pouvez parcourir les expériences actives, rechercher les expériences précédentes à l'aide de leurs caractéristiques, évaluer les expériences précédentes avec leurs résultats et établir des comparaisons visuelles entre les expériences.

Q. Qu'est-ce qu'Amazon SageMaker Debugger ?

Amazon SageMaker Debugger capture automatiquement des métriques en temps réel pendant l'entraînement : formation et validation, matrices de confusion et gradients d'apprentissage. Ces métriques permettent d'améliorer la précision du modèle. Les métriques issues d'Amazon SageMaker Debugger sont visualisables dans SageMaker Studio pour une compréhension aisée. SageMaker Debugger peut également générer des avertissements et des conseils de correction lorsque des problèmes d'entraînement sont détectés. En outre, SageMaker Debugger surveille et profile automatiquement les ressources système, telles que CPU, GPU, réseau et mémoire en temps réel et propose des recommandations de ré-allocation de ces ressources. Cela vous permet d'utiliser vos ressources efficacement pendant l'entraînement et cela contribue à la réduction des coûts et des ressources.

Q : Amazon SageMaker prend-il en charge l'entraînement distribué ?

Oui. Amazon SageMaker peut distribuer automatiquement les modèles de deep learning et les grands ensembles d'entraînement entre plusieurs instances GPU AWS en une fraction du temps nécessaire pour créer et optimiser manuellement ces stratégies de distribution. Les techniques d'entraînement distribué appliquées par SageMaker sont le parallélisme des données et le parallélisme des modèles. Le parallélisme des données est appliqué pour améliorer les vitesses d'entraînement en répartissant de manière égale les données sur plusieurs instances GPU, permettant ainsi à chaque instance d'entraîner simultanément. Le parallélisme des modèles s'avère utile pour les modèles trop importants pour être stockés sur un seul GPU et exige que le modèle soit partitionné en parties plus petites avant distribution sur plusieurs GPU. Rien qu'avec quelques lignes de code supplémentaires dans vos scripts d'entraînement PyTorch et TensorFlow, SageMaker appliquera automatiquement pour vous le parallélisme des données ou des modèles, ce qui vous permet de développer et de déployer vos modèles plus rapidement. SageMaker détermine également la meilleure approche pour diviser votre modèle en utilisant des algorithmes de partitionnement des graphiques pour équilibrer le calcul de chaque GPU tout en minimisant la communication entre les instances GPU. En outre, SageMaker optimise vos tâches d'entraînement distribuées grâce à des algorithmes qui utilisent intégralement le réseau et le calcul AWS afin d'obtenir une efficacité de mise à l'échelle quasi linéaire. Cela vous permet de terminer l'entraînement plus rapidement qu'avec des implémentations open source manuelles.

Q : Qu'est-ce que l'entraînement Spot géré ?

L'entraînement Spot géré avec Amazon SageMaker vous permet de former vos modèles de machine learning à l'aide d'instances Spot Amazon EC2, tout en réduisant les coûts d'entraînement de vos modèles jusqu'à 90 %.

Q : Comment utiliser l'entraînement Spot géré ?

Vous activez l'option d'entraînement Spot géré lors de la soumission de vos tâches d'entraînement, et vous spécifiez également le temps que vous souhaitez attendre pour la capacité Spot. Amazon SageMaker utilisera ensuite les instances Amazon EC2 Spot pour exécuter votre tâche, et gère la capacité Spot. Vous bénéficiez d'une visibilité totale sur le statut de votre tâche d'entraînement, à la fois en cours d'exécution et en attente de capacité.

Q : Quand utiliser l'entraînement Spot géré ?

L'entraînement Spot géré est idéal lorsque vous avez une flexibilité dans vos sessions d'entraînement et lorsque vous souhaitez minimiser le coût de vos tâches d'entraînement. Avec l'entraînement Spot géré, vous pouvez réduire le coût d'entraînement de vos modèles de machine learning jusqu'à 90 %.

Q : Comment fonctionne l'entraînement Spot géré ?

Il utilise des instances Amazon EC2 Spot pour l'entraînement, qui peuvent être préemptées lorsque AWS a besoin de plus de capacité. En conséquence, les tâches d'entraînement Spot géré peuvent être exécutées par petites incréments à mesure que la capacité devient disponible. Les tâches d'entraînement ne doivent pas nécessairement être redémarrées à partir de zéro en cas d'interruption, car Amazon SageMaker peut les reprendre en utilisant le point de contrôle du modèle le plus récent. Les cadres intégrés et les algorithmes de vision artificielle intégrés avec SageMaker permettent d'utiliser des points de contrôle réguliers, ainsi que des points de contrôle avec des modèles personnalisés.

Q : Est-il nécessaire de générer régulièrement des points de contrôle avec l'entraînement Spot géré ?

Nous recommandons d'utiliser des points de contrôle régulier comme meilleure pratique générale pour les tâches d'entraînement de longue durée. Cela empêche le redémarrage de vos tâches d'entraînement Spot géré si la capacité est préemptée. Lorsque vous activez les points de contrôle, Amazon SageMaker reprend vos tâches d'entraînement Spot géré à partir du dernier point de contrôle.

Q : Comment calculez-vous les économies de coûts avec les tâches d'entraînement Spot géré ?

Une fois qu'une tâche d'entraînement Spot géré est terminée, vous pouvez voir les économies réalisées dans AWS Management Console et les calculer en tant que différence en pourcentage entre la durée d'exécution de la tâche d'entraînement et la durée facturée.

Quel que soit le nombre d'interruptions de vos tâches d'entraînement Spot géré, vous n'êtes facturé qu'une fois pour la durée pendant laquelle les données ont été téléchargées.

Q : Quelles instances puis-je utiliser avec l'entraînement Spot géré ?

Vous pouvez utiliser l'entraînement Spot géré avec toutes les instances prises en charge dans Amazon SageMaker.

Q : Quelle sont les régions AWS prises en charge avec l'entraînement Spot géré ?

L'entraînement Spot géré prend en charge toutes les régions AWS où Amazon SageMaker est actuellement disponible.

Q : Existe-t-il des limites concernant la taille de l'ensemble de données que je peux utiliser pour l'entraînement ?

Aucune limite ne s'applique à la taille de l'ensemble des données que vous pouvez utiliser pour l'entraînement de modèles avec Amazon SageMaker.

Q : Quelles sources de données puis-je facilement transférer dans Amazon SageMaker ?

Vous pouvez spécifier l'emplacement Amazon S3 de vos données d'entraînement dans le cadre de la création d'une tâche de formation.

Q : Quels algorithmes Amazon SageMaker utilise-t-il pour générer des modèles ?

Amazon SageMaker comprend des algorithmes intégrés pour la régression linéaire, la régression logistique, le partitionnement en k-moyennes, l'analyse des composants principaux, les machines de factorisation, l'algorithme Neural Topic Model, l'allocation de Dirichlet latente, le boosting d'arbres de décision, l'algorithme sequence2sequence, la prévision des séries chronologiques, le groupe word2vec et la classification d'images. SageMaker fournit aussi des conteneurs Apache MXNet, Tensorflow, Chainer, PyTorch, Gluon, Keras, Horovod, Scikit-learn, et Deep Graph Library optimisés. De plus, Amazon SageMaker prend en charge vos algorithmes de formation personnalisés fournis par le biais d'une image Docker conforme aux spécifications documentées.

Q : Qu'est-ce que le réglage de modèle automatique ?

La plupart des algorithmes de Machine Learning exposent divers paramètres contrôlant la façon dont l'algorithme sous-jacent fonctionne. Ces paramètres sont généralement appelés hyperparamètres et leurs valeurs affectent la qualité des modèles formés. Le réglage de modèle automatique consiste en la recherche d'hyperparamètres pour un algorithme pouvant assumer un modèle optimal.

Q : Quels modèles peuvent être ajustés avec Automatic Model Tuning ?

Vous avez la possibilité d'exécuter le réglage de modèle automatique dans Amazon SageMaker avant tout autre algorithme à condition que cela soit techniquement faisable, notamment les algorithmes SageMaker intégrés, les réseaux de neurones approfondis ou encore les algorithmes arbitraires que vous importez dans SageMaker sous la forme d'images Docker.

Q : Puis-je utiliser Automatic Model Tuning en dehors d'Amazon SageMaker ?

Pas à l'heure actuelle Vous profiterez des meilleures performances et expériences de réglage de modèle dans Amazon SageMaker.

Q : Qu'est-ce que l'algorithme d'ajustement sous-jacent ?

À l'heure actuelle, notre algorithme d'ajustement des hyperparamètres consiste en une mise en application personnalisée d'une optimisation bayésienne. Il vise à optimiser une métrique d'objet spécifique au client par l'intermédiaire d'un processus d'ajustement. Plus particulièrement, il vérifie les métriques d'objet des tâches de formation terminées et tire profit des connaissances pour en déduire la combinaison d'hyperparamètres pour la prochaine tâche de formation.

Q : Recommanderez-vous des hyperparamètres pour l'ajustement ?

Non. L'impact des hyperparamètres sur les performances d'un modèle dépend de divers facteurs et il est difficile de se prononcer catégoriquement sur un hyperparamètre plus important que d'autres et qui doit donc être ajusté. En ce qui concerne les algorithmes intégrés dans Amazon SageMaker, nous déterminons si un hyperparamètre est ajustable ou non.

Q : Combien de temps prend une tâche d'ajustement d'hyperparamètre ?

La durée d'une tâche d'ajustement d'hyperparamètre dépend de plusieurs facteurs, dont la taille des données, l'algorithme sous-jacent et les valeurs des hyperparamètres. De plus, les clients peuvent choisir le nombre de tâches de formation simultanées ainsi que le total de tâches de formation. Tous ces choix affectent la durée potentielle d'une tâche d'ajustement d'hyperparamètre.

Q : Puis-je optimiser simultanément plusieurs objectifs en un modèle pour gagner en rapidité et en précision ?

Pas à l'heure actuelle Pour l'instant, vous devez spécifier une seule métrique d'objectif afin d'optimiser ou de modifier votre code d'algorithme et émettre une nouvelle métrique, ce qui correspond à une moyenne pondérée entre deux métriques utiles ou plus. Après cela, vous pouvez lancer l'optimisation du processus d'ajustement pour cette métrique d'objectif.

Q : Combien coûte Automatic Model Tuning ?

Une tâche d'ajustement d'hyperparamètre ne coûte rien en soi. Vous serez facturé en fonction des tâches de formation lancées par la tâche d'ajustement d'hyperparamètre, selon la tarification de formation de modèles.

Q : Comment décider d'utiliser Amazon SageMaker Autopilot ou Automatic Model Tuning?

Amazon SageMaker Autopilot automatise tout dans un flux de travail de machine learning typique, dont des fonctionnalités de traitement automatique, une sélection d'algorithme, et un réglage des hyper-paramètres, tout en se concentrant spécifiquement sur les cas d'utilisation de régression et de classification. Automatic Model Tuning, en revanche, est conçu pour régler n'importe quel modèle, qu'il soit basé sur des algorithmes intégrés, des structures de deep learning, ou des conteneurs personnalisés. En échange de cette flexibilité, vous devez choisir manuellement l'algorithme spécifique, déterminer les hyper-paramètres à régler, et les plages de recherche correspondantes.

Q : Qu'est-ce que l'apprentissage à renforcement ?

L'apprentissage à renforcement est une technique de machine learning qui permet à un agent d'apprendre à tâtonnement au sein d'un environnement interactif à l'aide de retours générés à la suite de ses propres actions et expériences.

Q : Est-il possible de former des modèles d'apprentissage à renforcement dans Amazon SageMaker ?

Oui, vous pouvez former des modèles d'apprentissage à renforcement dans Amazon SageMaker en plus des modèles d'apprentissage supervisés et non supervisés.

Q : Comment l'apprentissage à renforcement se distingue-t-il de l'apprentissage supervisé ?

Bien que l'apprentissage supervisé et à renforcement utilisent tous deux le mappage entre l'entrée et la sortie, l'apprentissage à renforcement privilégie l'usage de retours différés où les signaux de récompense sont optimisés pour assurer un but à long terme via une séquence d'actions, au contraire de l'apprentissage supervisé où les retours fournis à l'agent consistent en un ensemble d'actions appropriées pour effectuer une tâche donnée.

Q : Quand dois-je utiliser l'apprentissage à renforcement ?

L'objectif des méthodes d'apprentissage supervisé est de trouver la bonne réponse selon les schémas des données d'entraînement et l'objectif des méthodes d'apprentissage non supervisé est de trouver les similitudes et différences entre des points de données. Inversement, le but des techniques d'apprentissage à renforcement est d'apprendre comment atteindre un résultat espéré, même si la méthode pour y parvenir n'est pas évidente. Par conséquent, l'apprentissage à renforcement est plus adapté aux applications intelligentes comme la robotique, les véhicules autonomes, les systèmes CVC, les commandes industrielles, etc., où un agent est en mesure de prendre des décisions autonomes.

Q : Quelles sortes d'environnements puis-je utiliser pour la formation de modèles d'apprentissage à renforcement ?

L'apprentissage à renforcement Amazon SageMaker prend en charge divers environnements pour la formation de modèles d'apprentissage à renforcement. Vous pouvez utiliser les services AWS comme AWS RoboMaker, les environnements open source ou les environnements personnalisés développés à l'aide des interfaces Open AI Gym, ou des environnements de simulation commerciale comme MATLAB et SimuLink.

Q : Dois-je écrire mes propres algorithmes d'agent d'apprentissage à renforcement pour former mes modèles d'apprentissage à renforcement ?

Non, l'apprentissage à renforcement Amazon SageMaker dispose de boîtes à outils d'apprentissage à renforcement comme Coach et Ray RLLib qui proposent des implémentations d'algorithmes d'agent d'apprentissage à renforcement comme DQN, PPO, A3C et bien plus encore.

Q : Est-il possible d'amener mes propres bibliothèques et implémentations d'algorithmes d'apprentissage à renforcement, et de les exécuter dans l'apprentissage à renforcement Amazon SageMaker ?

Oui, vous pouvez amener vos propres bibliothèques et implémentations d'algorithmes d'apprentissage à renforcement dans des conteneurs Docker et utiliser ces derniers dans l'apprentissage à renforcement Amazon SageMaker.

Q : Est-il possible d'opérer des déploiements distribués à l'aide de l'apprentissage à renforcement Amazon SageMaker ?

Oui. Vous pouvez même sélectionner un cluster hétérogène où exécuter la formation sur une instance GPU, et les simulations peuvent s'exécuter sur plusieurs instances CPU.

Déployer des modèles

Q. Qu'est-ce la recherche de modèle Amazon SageMaker Model Monitor ?

Amazon SageMaker Model Monitor permet aux développeurs de détecter et de corriger les dérives de concept. SageMaker Model Monitor détecte automatiquement les dérives de concept dans les modèles déployés et fournit des alertes détaillées qui aident à identifier la source du problème. Tous les modèles formés dans SageMaker émettent automatiquement des mesures clés qui peuvent être collectées et visualisées dans SageMaker Studio. Depuis SageMaker Studio, vous pouvez configurer les données à collecter, les modalités de visualisation, et quand vous souhaitez recevoir des alertes.

Q : Puis-je accéder à l'infrastructure sur laquelle Amazon SageMaker s'exécute ?

Non. Amazon SageMaker gère l'infrastructure de calcul à votre place, lui permettant d'effectuer des vérifications de l'état de santé, d'appliquer des correctifs de sécurité et de réaliser d'autres opérations de maintenance quotidienne. Vous pouvez également déployer les artefacts de modèle de la formation avec un code d'inférence personnalisé dans votre propre environnement d'hébergement.

Q : Comment adapter la taille et les performances d'un modèle Amazon SageMaker après son déploiement en production ?

L'hébergement d'Amazon SageMaker s'adapte automatiquement aux performances nécessaires à votre application à l'aide d'Application Auto Scaling. En outre, vous pouvez modifier manuellement le nombre et le type d'instances tout en évitant les temps d'arrêt,et ce, en modifiant la configuration du point de terminaison.

Q : Comment surveiller mon environnement de production Amazon SageMaker ?

Amazon SageMaker émet des métriques de performance dans Amazon CloudWatch Metrics pour vous permettre de suivre les métriques, de définir des alarmes et de réagir automatiquement aux fluctuations du trafic de production. De plus, Amazon SageMaker écrit des journaux dans Amazon Cloudwatch Logs pour que vous puissiez surveiller et dépanner votre environnement de production.

Q : Quels types de modèles peuvent être hébergés avec Amazon SageMaker ?

Amazon SageMaker peut héberger tous les modèles conformes aux spécifications documentées pour les images d'inférence Docker. Cela inclut les modèles créés à partir des artefacts de modèles et du code d'inférence Amazon SageMaker.

Q : Combien de requêtes d'API en temps réel simultanées le service Amazon SageMaker prend-il en charge ?

Le service Amazon SageMaker est conçu pour s'adapter à un grand nombre de transactions par seconde. Le nombre précis varie en fonction du modèle déployé et du nombre et du type d'instances sur lesquelles le modèle est déployé.

Q : Qu'est-ce que Batch Transform ?

Batch Transform vous permet d'exécuter des prédictions sur des données de lots de grande ou de petite taille. Il n'est pas nécessaire de décomposer l'ensemble de données en plusieurs morceaux ou de gérer les points de terminaison en temps réel. Avec une API simple, vous pouvez demander des prédictions pour un grand nombre d'enregistrements de données et transformer ces données rapidement et facilement

Q : Qu'est-ce qu'Amazon SageMaker Edge Manager ?

Amazon SageMaker Edge Manager est une fonctionnalité d'Amazon SageMaker qui facilite l'optimisation, la sécurisation, la surveillance et la maintenance des modèles de machine learning sur les parcs d'appareils de périphérie tels que les caméras intelligentes, les robots, les ordinateurs personnels et les appareils mobiles. SageMaker Edge Manager aide les développeurs ML à utiliser leurs modèles ML sur différents appareils de périphérie à grande échelle.

Q : Comment démarrer avec Amazon SageMaker Edge Manager ?

Pour commencer avec SageMaker Edge Manager, vous devez compiler et créer des packages avec vos modèles ML entraînés dans le cloud, enregistrer vos appareils et les préparer avec le kit SDK SageMaker Edge Manager. Pour préparer votre modèle au déploiement, SageMaker Edge Manager utilise SageMaker Neo pour le compiler pour votre matériel de périphérie cible. Une fois un modèle compilé, SageMaker Edge Manager le signe avec une clé générée par AWS, puis crée un package avec son runtime et vos informations d'identification nécessaire pour préparer le déploiement. Du côté de l'appareil, vous enregistrez SageMaker Edge Manager, téléchargez le kit SDK SageMaker Edge Manager, puis suivez les instructions d'installation de l'agent SageMaker Edge Manager sur vos appareils. Le bloc-notes du didacticiel présente un exemple étape par étape de la préparation de vos modèles et de leur connexion sur des appareils de périphérie avec SageMaker Edge Manager.

Q : Quels appareils prend en charge SageMaker Edge Manager ?

Amazon SageMaker Edge Manager prend en charge les appareils à CPU (ARM, x86) et GPU (ARM, Nvidia) courants avec systèmes d'exploitation Linux et Windows. Avec le temps, SageMaker Edge Manager se développera pour prendre en charge d'autres processeurs incorporés et plates-formes mobiles également pris en charge par SageMaker Neo.

Q : Dois-je utiliser Amazon SageMaker pour entraîner mon modèle afin d'utiliser Amazon SageMaker Edge Manager ?

Non. Vous pouvez entraîner vos modèles ailleurs ou utiliser un modèle pré-entraîné en open source ou par votre fournisseur de modèles.

Q : Dois-je utiliser Amazon SageMaker Neo pour compiler mon modèle afin d'utiliser Amazon SageMaker Edge Manager ?

Oui. Amazon SageMaker Neo convertit et compile vos modèles en un exécutable avec lequel vous pouvez ensuite créer un package et déployer sur vos appareils de périphérie. Une fois le package du modèle déployé, l'agent Amazon SageMaker Edge Manager décompresse le package du modèle et l'exécute sur l'appareil.

Q : Comment déployer des modèles sur les appareils de périphérie ?

Amazon SageMaker Edge Manager stocke le package du modèle dans le compartiment Amazon S3 que vous spécifiez. Vous pouvez utiliser la fonction de déploiement OTA (Over-the-Air) offerte par AWS IoT Greengrass ou tout autre mécanisme de déploiement de votre choix pour déployer le package du modèle sur les appareils à partir de votre compartiment S3.

Q : En quoi le kit SDK Amazon SageMaker Edge Manager diffère-t-il du runtime SageMaker Neo (dlr) ?

Neo dlr est un runtime open source que ne fait qu'exécuter des modèles compilés par le service Amazon SageMaker Neo. Comparé au dlr open source, le kit SDK SageMaker Edge Manager comprend un agent de pointe sur l'appareil avec des fonctions supplémentaires de sécurité, de gestion et de diffusion de modèles. Le kit SDK SageMaker Edge Manager est adapté au déploiement en production à grande échelle.

Q : Quelle est la relation entre Amazon SageMaker Edge Manager et AWS IoT Greengrass ?

Amazon SageMaker Edge Manager et AWS IoT Greengrass peuvent fonctionner ensemble dans votre solution IoT. Une fois le package de votre modèle ML créé avec SageMaker Edge Manager, vous pouvez utiliser la fonction de mise à jour OTA d'AWS IoT Greengrass pour déployer le package du modèle sur votre appareil. AWS IoT Greengrass vous permet de surveiller vos appareils IoT à distance, tandis que SageMaker Edge Manager vous aide à surveiller et maintenir les modèles ML sur les appareils.

Q : Quelle est la relation entre Amazon SageMaker Edge Manager et AWS Panorama ? Quand dois-je utiliser Amazon SageMaker Edge Manager plutôt qu'AWS Panorama ?

AWS offre le plus large ensemble de possibilités pour l'exécution de modèles sur des appareils de périphérie. Nous disposons de services pour prendre en charge un large éventail de cas d'utilisation, notamment la vision informatique, la reconnaissance vocale et la maintenance prédictive.

Pour les entreprises qui souhaitent utiliser la vision informatique sur des appareils de périphérie, tels que des caméras et des appliances, vous pouvez utiliser AWS Panorama. Panorama offre des applications de vision informatique prêtes à déployer pour appareils de périphérie. Pour commencer avec AWS Panorama, il suffit de se connecter à la console cloud, de spécifier le modèle à utiliser dans Amazon S3 ou dans SageMaker, puis d'écrire la logique métier sous la forme d'un script python. AWS Panorama compile le modèle pour l'appareil cible et crée un package d'application déployable sur vos appareils en quelques clics. En outre, les fournisseurs de logiciels indépendants qui souhaitent créer leurs propres applications personnalisées peuvent utiliser le kit SDK AWS Panorama, tandis que les fabricants d'appareils peuvent utiliser le kit SDK pour certifier leurs appareils pour AWS Panorama.

Les clients qui souhaitent créer leurs propres modèles et bénéficier d'un contrôle plus précis sur les caractéristiques des modèles peuvent utiliser Amazon SageMaker Edge Manager. SageMaker Edge Manager est un service géré pour préparer, exécuter, surveiller et mettre à jour des modèles de machine learning (ML) dans des parcs d'appareils de périphérie, comme des robots et des caméras et des haut-parleurs intelligents, pour tous les cas d'utilisation, tels que le traitement du langage naturel, la détection de fraude et la maintenance prédictive. SageMaker Edge Manager est destiné aux développeurs en périphérie ML qui souhaitent disposer d'un contrôle sur leur modèle, notamment en concevant différentes caractéristiques de modèle et en surveillant la dérive des modèles. Tous les développeurs en périphérie ML peuvent utiliser SageMaker Edge Manager via la console SageMaker et les API SageMaker. SageMaker Edge Manager apporte les fonctionnalités de SageMaker pour créer, entraîner et déployer des modèles du cloud sur des appareils de périphérie.

Q : Dans quelles régions AWS Amazon SageMaker Edge Manager est-il disponible ?

Amazon SageMaker Edge Manager est disponibles dans les 6 régions AWS suivantes : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), UE (Irlande), UE (Francfort) et Asie-Pacifique (Tokyo). Consultez les détails dans le tableau des régions AWS.

Q : Qu'est-ce qu'Amazon SageMaker Neo ?

Amazon SageMaker Neo permet aux modèles de machine learning de se former une fois, puis de s'exécuter n'importe où dans le cloud et à la limite. SageMaker Neo optimise automatiquement les modèles créés dans des frameworks de deep learning qui peuvent être utilisés pour un déploiement sur plusieurs plate-formes matérielles. Les modèles optimisés s'exécutent 25 fois plus vite et consomment moins d'un dixième des ressources des modèles de formation de machine learning typiques.

Q : Comment démarrer avec Amazon SageMaker Neo ?

Pour démarrer avec Amazon SageMaker Neo, vous devez vous connecter à la console Amazon SageMaker, choisir un modèle formé, suivre l'exemple de compilation de modèles, puis déployer le modèle ainsi obtenu sur votre plate-forme de matériel cible.

Q : Quels sont les principaux composants d'Amazon SageMaker Neo ?

Amazon SageMaker Neo dispose de deux composants majeurs – un compilateur et une exécution. D'abord, le compilateur Neo lit les modèles exportés par différents cadres. Il convertit alors les fonctions et opérations spécifiques au cadre en une représentation intermédiaire agnostique de cadre. Ensuite, il effectue une série d'optimisations. Puis, le compilateur génère du code binaire pour les opérations optimisées et les écrit dans la bibliothèque d'objets partagés. Le compilateur enregistre également la définition et les paramètres du modèle dans des fichiers séparés. Lors de la réalisation, l'exécution Neo charge les artefacts créés par le compilateur : définition de modèle, paramètres et la bibliothèque d'objets partagés pour exécuter le modèle.

Q : Ai-je besoin d'utiliser Amazon SageMaker pour former mon modèle afin d'utiliser Amazon SageMaker Neo pour le convertir ?

Non. Vous pouvez former des modèles ailleurs et utiliser Neo afin de les optimiser pour des instances Amazon SageMaker ML ou des appareils AWS IoT Greengrass pris en charge.

Q : Quels modèles Amazon SageMaker Neo prend-il en charge ?

Amazon SageMaker Neo prend actuellement en charge les modèles les plus populaires de deep learning pour les applications de vision par ordinateur et les modèles d'arbre décisionnel utilisés aujourd'hui dans Amazon SageMaker. Neo optimise le fonctionnement des modèles AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet et DenseNet entraînés dans MXNet et TensorFlow, et les modèles de classification et RCF (Random Cut Forest) entraînés dans XGBoost.

Q : Quelles plates-formes matérielles Amazon SageMaker Neo prend-il en charge ?

Vous trouverez les listes des instances cloud prises en charge, des appareils de périphérie et des versions de framework dans la documentation d'Amazon SageMaker Neo.

Q : Dans quelles régions AWS le service Amazon SageMaker Neo est-il disponible ?

Pour voir la liste des régions prises en charge, consultez le tableau des régions AWS.

Amazon SageMaker Savings Plans

Q : Que sont les Amazon SageMaker Savings Plans ?

Amazon SageMaker Savings Plans est un modèle de tarification flexible pour Amazon SageMaker, en échange d'un engagement à une quantité constante d'utilisation (mesurée en USD/heure) pendant 1 ou 3 ans. Amazon SageMaker Savings Plans offre une grande flexibilité et permet de réduire vos coûts jusqu'à 64 %. Ces plans s'appliquent automatiquement à l'utilisation des instances SageMaker ML éligibles telles que SageMaker Studio Notebook, SageMaker On-Demand Notebook, SageMaker Processing, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference et SageMaker Batch Transform indépendamment de la famille d'instance, de la taille ou de la région. Par exemple, vous pouvez à tout moment passer d'une instance de processeur ml.c5.xlarge s'exécutant dans la région USA Est (Ohio) à une instance ml.Inf1 s'exécutant dans la région USA Ouest (Oregon) pour des charges de travail d'inférence et toujours bénéficier automatiquement de la tarification Savings Plans.

Q : Pourquoi utiliser Amazon SageMaker Savings Plans ?

Si votre consommation d'instances Amazon SageMaker (mesurée en USD/heure) est régulière et que vous utilisez plusieurs composants SageMaker ou que vous avez prévu de faire évoluer la configuration (la famille d'instance ou la région, par exemple), SageMaker Savings Plans est très économique et offre une grande flexibilité pour s'adapter aux besoins des applications ou aux innovations. La tarification Savings Plans s'applique automatiquement à l'utilisation d'instance ML éligible, sans intervention de votre part.

Q : Comment faire ses premiers pas avec Amazon SageMaker Savings Plans ?

Vous pouvez faire vos premiers pas avec les Savings Plans depuis AWS Cost Explorer dans la console de gestion ou en utilisant l'API / l'interface de ligne de commande. Vous pouvez choisir aisément les Savings Plans, et réaliser un maximum d'économies, en suivant les recommandations disponibles dans AWS Cost Explorer. L'engagement horaire recommandé est basé sur votre historique d'utilisation à la demande et sur vos choix de type de plan, de période d'engagement et d'options de paiement. Une fois que vous avez souscrit à un Savings Plan, le tarif réduit correspondant sera automatiquement appliqué pour toute utilisation de capacités de calcul jusqu'au plafond prévu. Toute utilisation au-delà de ce plafond sera facturée aux tarifs réguliers.

Q : Quels sont les différences entre les Savings Plans pour Amazon SageMaker et les Compute Savings Plans pour EC2 ?

Ces Savings Plans n'offrent pas les mêmes services. SageMaker Savings Plans s'applique uniquement à l'utilisation des instances SageMaker ML.

Q : Comment fonctionne Savings Plans avec AWS Organizations/la facturation consolidée ?

Il est possible d'acheter Savings Plans dans n'importe quel compte d'une famille AWS Organization/de facturation consolidée. Par défaut, les avantages des Savings Plans s'appliquent à l'utilisation sur tous les comptes d'une famille AWS Organization/de facturation consolidée. Toutefois, vous pouvez également limiter les avantages des Savings Plans au compte qui a été utilisé pour en faire l'acquisition.

En savoir plus sur la tarification d'Amazon SageMaker

Consultez la page de tarification
Prêt à vous lancer ?
S'inscrire
D'autres questions ?
Nous contacter