Amazon SageMaker Edge Manager

Gérer et surveiller efficacement les modèles de ML dans les flottes d'appareils intelligents

Un nombre croissant d'applications telles que l'automatisation industrielle, les véhicules autonomes et les caisses automatiques nécessitent des modèles de machine learning (ML) qui s'exécutent sur des appareils en périphérie afin que des prévisions puissent être faites en temps réel lorsque de nouvelles données sont disponibles. Amazon SageMaker Neo est le moyen le plus simple d'optimiser les modèles de ML pour les appareils de périphérie, vous permettant d'entraîner les modèles de ML une fois dans le cloud et de les exécuter sur n'importe quel appareil. Avec la prolifération des appareils, les clients peuvent avoir des milliers de modèles déployés qui s'exécutent dans leurs flottes. Amazon SageMaker Edge Manager vous permet d'optimiser, de sécuriser, de surveiller et de maintenir les modèles de ML sur des flottes de caméras intelligentes, de robots, d'ordinateurs personnels et d'appareils mobiles.

Amazon SageMaker Edge Manager fournit un agent logiciel qui s'exécute sur les appareils de périphérie. L'agent contient un modèle de ML optimisé automatiquement avec SageMaker Neo. Vous n'avez donc pas besoin d'avoir le runtime de Neo installé sur vos appareils pour profiter des optimisations du modèle. L'agent collecte également des données de prédiction et envoie un échantillon de ces données au cloud à des fins de surveillance, d'étiquetage et de réentraînement afin que vous puissiez conserver des modèles précis dans le temps. Toutes les données peuvent être visualisées dans le tableau de bord de SageMaker Edge Manager qui présente le fonctionnement des modèles déployés. Et comme SageMaker Edge Manager vous permet de gérer les modèles séparément du reste de l'application, vous pouvez mettre à jour le modèle et l'application indépendamment, ce qui réduit les temps d'arrêt coûteux et les interruptions de service. SageMaker Edge Manager signe aussi cryptographiquement vos modèles afin que vous puissiez vérifier qu'ils n'ont pas été altérés lorsqu'ils sont transférés du cloud vers des appareils de périphérie.

Qu’est-ce qu’Amazon SageMaker Edge Manager ?

Gestion des modèles dans les flottes d'appareils de périphérie

Optimiser les modèles de ML pour une large gamme d'appareils

Amazon SageMaker Edge Manager optimise automatiquement les modèles de ML pour un déploiement sur une grande variété d'appareils de périphérie, y compris les appareils alimentés par des CPU, des GPU et des accélérateurs de ML intégrés. SageMaker Edge Manager compile votre modèle entraîné en un exécutable qui découvre et applique des optimisations de performances spécifiques qui peuvent faire que votre modèle s'exécute jusqu'à 25 fois plus vite sur le matériel cible. SageMaker Edge Manager vous permet d'optimiser et de packager des modèles entraînés en utilisant différents frameworks tels que DarkNet, Keras, MXNet, PyTorch, TensorFlow, TensorFlow-Lite, ONNX et XGBoost pour l'inférence sur des machines basées sur Android, iOS, Linux et Windows.

Intégration facile avec les applications de l'appareil

Amazon SageMaker Edge Manager prend en charge gRPC, un appel de procédure à distance open source, qui vous permet d'intégrer SageMaker Edge Manager à vos applications de périphérie existantes via des API dans des langages de programmation courants, tels que Android Java, C# / .NET, Dart, Go, Java, Kotlin/JVM, Node.js, Objective-C, PHP, Python, Ruby et Web.

Surveillance continue de modèles

Amazon SageMaker Edge Manager collecte les données des appareils de périphérie et envoie un échantillon dans le cloud où il est analysé et visualisé dans SageMaker. Si des baisses de qualité sont détectées, vous pouvez rapidement les repérer dans le tableau de bord et également configurer des alertes via Amazon CloudWatch. La baisse de la qualité du modèle, ou la dérive du modèle, peut être causée par des différences dans les données utilisées pour faire des prédictions par rapport aux données utilisées pour entraîner le modèle ou par des changements dans le monde réel. Par exemple, un modèle de détection d'objets qui n'est pas entraîné sur des images dans des conditions de neige ne fonctionne pas bien lorsqu'il les rencontre dans le monde réel.

Tableau de bord de la flotte

Amazon SageMaker Edge Manager fournit un tableau de bord qui vous permet de comprendre les performances des modèles exécutés sur chaque appareil de votre flotte. Le tableau de bord vous aide à comprendre visuellement l'état général de la flotte et à identifier les modèles problématiques via un tableau de bord dans la console. Lorsqu'un problème est identifié, vous pouvez collecter des données de modèle, réétiqueter les données, réentraîner et redéployer le modèle.

Servir plusieurs modèles sur un appareil - bientôt disponible

Pour les applications de ML qui nécessitent l'hébergement et l'exécution simultanée de plusieurs modèles sur un appareil, Amazon SageMaker Edge Manager vous permettra bientôt d'écrire une logique d'application simple pour envoyer une ou plusieurs requêtes (c'est-à-dire charger/décharger des modèles, exécuter une inférence) indépendamment à plusieurs modèles et rééquilibrer l'utilisation des ressources matérielles lorsque vous ajoutez ou mettez à jour un modèle. Par exemple, un robot autoguidé a besoin d'un modèle de détection d'objets pour détecter les obstacles, d'un modèle de classification pour reconnaître les obstacles et d'un modèle basé sur une arborescence pour déterminer l'action.

Registre de modèles et lignage de modèles - bientôt disponible

Bientôt, vous serez en mesure d'automatiser le processus de création, d'entraînement et de déploiement à partir du cloud vers les appareils de périphérie dans Amazon SageMaker Edge Manager, et de suivre le cycle de vie de chaque modèle.

Clients

Logo du client Lenovo

Lenovo™, le premier fabricant mondial de PC, a récemment intégré Amazon SageMaker dans sa dernière offre de maintenance prédictive.  

« Le nouveau SageMaker Edge Manager aidera à éliminer l'effort manuel nécessaire pour optimiser, surveiller et améliorer continuellement les modèles après le déploiement. Avec lui, nous prévoyons que nos modèles s'exécuteront plus rapidement et consommeront moins de mémoire qu'avec d'autres plateformes comparables de machine learning. SageMaker Edge Manager nous permet d'échantillonner automatiquement les données à la périphérie, de les envoyer en toute sécurité vers le cloud et de surveiller en permanence la qualité de chaque modèle sur chaque appareil après le déploiement. Cela nous permet de surveiller, d'améliorer et de mettre à jour à distance les modèles de nos appareils de périphérie dans le monde entier, tout en faisant gagner du temps et en réduisant les coûts pour nous et nos clients. »

Igor Bergman, vice-président de Lenovo, Cloud et logiciels des PC et des appareils intelligents.

Logo du client Basler

Basler AG est l'un des principaux fabricants d'appareils photo numériques et d'accessoires de haute qualité pour l'industrie, la médecine, les transports et divers autres marchés.

Basler AG fournit des solutions d'aide visuelle par ordinateur dans divers industries, y compris des applications de fabrication, médicales et de vente au détail. Nous sommes heureux d'élargir notre offre logicielle grâce aux nouvelles fonctionnalités rendues possibles par Amazon SageMaker Edge Manager. Pour que nos solutions de machine learning soient performantes et fiables, nous avons besoin d'un outil MLOps évolutif de la périphérie au cloud qui nous permet de surveiller, de maintenir et d'améliorer en permanence les modèles de machine learning sur les appareils de périphérie. SageMaker Edge Manager nous permet d'échantillonner automatiquement les données à la périphérie, de les envoyer en toute sécurité vers le cloud et de surveiller en permanence la qualité de chaque modèle sur chaque appareil après le déploiement. Cela nous permet de surveiller, d'améliorer et de mettre à jour à distance les modèles de nos appareils de périphérie dans le monde entier, tout en faisant gagner du temps et en réduisant les coûts pour nous et nos clients. »

Mark Hebbel, responsable des solutions logicielles chez Basler.

Démarrer avec Amazon SageMaker Edge Manager