Amazon SageMaker Neo

Formez des modèles une fois, exécutez-les n'importe où avec des performances jusqu'à 2 fois supérieures.

Amazon SageMaker Neo permet aux développeurs de former une fois des modèles de machine learning et de les exécuter n'importe où dans le cloud et à la périphérie. Amazon SageMaker Neo optimise l'exécution des modèles jusqu'à deux fois plus rapidement, avec moins d'un dixième de l'encombrement mémoire, sans perte de précision.

Les développeurs consacrent beaucoup de temps et d'efforts à la création de modèles de machine learning précis, capables de faire des prédictions rapides à faible temps de latence en temps réel. Cela est particulièrement important pour les terminaux de périphérie lorsque la mémoire et la puissance de traitement ont tendance à être fortement limitées, mais que la latence est très importante. Par exemple, les capteurs des véhicules autonomes ont généralement besoin de traiter les données en un millième de seconde pour qu’elles soient utilisables, de sorte qu’il n’est pas possible de réaliser un aller-retour dans le cloud. En outre, il existe un large éventail de plates-formes matérielles et d'architectures de processeur différentes pour les terminaux de périphérie. Pour obtenir des performances élevées, les développeurs doivent passer des semaines ou des mois à ajuster leur modèle pour chacune. Par ailleurs, le processus d’ajustement complexe signifie que les modèles sont rarement mis à jour après leur déploiement à la périphérie. Les développeurs n’ont pas l'occasion de reformer et d'améliorer des modèles basés sur les données que collectent les terminaux de périphérie.

Amazon SageMaker Neo optimise automatiquement les modèles de machine learning pour qu'ils fonctionnent à une vitesse deux fois supérieure sans perte de précision. Vous démarrez avec un modèle Machine learning créé à l'aide de MXNet, TensorFlow, PyTorch ou XGBoost et une formation Amazon SageMaker. Vous choisissez ensuite votre plate-forme matérielle cible parmi Intel, NVIDIA ou ARM. SageMaker Neo sera alors en mesure de compiler alors le modèle formé dans un exécutable sur un simple clic. Le compilateur utilise un réseau neuronal pour identifier et appliquer toutes les optimisations de performances spécifiques qui vont permettre à votre modèle de fonctionner plus efficacement sur la plate-forme matérielle cible. Le modèle peut ensuite être déployé pour commencer à faire des prédictions dans le cloud ou à la périphérie. Les capacités de calcul local et d'inférence de machine learning peuvent être apportées à la périphérie avec AWS Greengrass. AWS Greengrass prend en charge les modèles optimisés par Neo afin de faciliter le déploiement à la périphérie. Vous pouvez alors déployer vos modèles directement à la périphérie par le biais de mises à jour à distance.

Neo utilise Apache TVM et d'autres compilateurs et bibliothèques de noyaux fournis par des partenaires. Neo est disponible sous forme de code open source sous le nom de projet Neo-AI sous licence logicielle Apache, ce qui permet aux développeurs de personnaliser le logiciel de différents périphériques et applications.

Avantages

Exécutez des modèles de machine learning avec des performances jusqu'à deux fois meilleures.

Amazon SageMaker Neo optimise automatiquement les modèles de machine learning TensorFlow, MXNet, PyTorch et XGBoost pour qu'ils fonctionnent à une vitesse deux fois supérieure sans perte de précision. En utilisant le deep learning, SageMaker Neo identifie et applique des optimisations de code pour votre modèle spécifique et le matériel sur lequel vous souhaitez déployer le modèle. Vous bénéficiez des avantages de performances d'un réglage manuel sans avoir à consentir des semaines efforts.



Réduction par 10 de la taille de la structure

Amazon SageMaker Neo réduit l’ensemble des opérations logicielles dans la structure de votre modèle uniquement à celles qui lui sont nécessaires pour effectuer des prédictions . En règle générale, cela permet de réduire de 10 fois la quantité de mémoire requise par la structure. Le modèle et la structure sont ensuite compilés en un seul exécutable qui peut être déployé en production pour permettre des prédictions rapides à faible latence. 

Exécution due même modèle de machine learning sur plusieurs plates-formes

Amazon SageMaker Neo vous permet de former votre modèle une fois et de l'exécuter pratiquement n'importe où avec un seul exécutable. Neo comprend comment optimiser votre modèle pour les architectures de processeurs Intel, NVIDIA, ARM, Cadence, Qualcomm et Xilinx, ce qui simplifie la préparation de votre modèle pour plusieurs plates-formes en quelques clics dans la console Amazon SageMaker. 

Principe de fonctionnement

Product-Page-Diagram_Neo-How-it-Works

Fonctions principales

Utilisez la structure de deep learning que vous préférez

Amazon SageMaker Neo convertit les fonctions et opérations propres à la structure pour TensorFlow, MXNet et PyTorch en un seul exécutable compilé pouvant être exécuté n'importe où. Neo compile et génère automatiquement le code logiciel requis.

Fonctionnement simple et efficace du logiciel

Amazon SageMaker Neo génère un fichier exécutable qui est déployé sur des instances de cloud et de terminaux de périphérie. L’exécutable Neo réduit de 10 fois l’utilisation des ressources telles que le stockage sur les plates-formes de déploiement et supprime la dépendance vis à vis des structures. Par exemple, l’exécutable Neo occupe 2,5 Mo de stockage, alors que les déploiements dépendant de la structure peuvent occuper jusqu'à 1 Go de stockage.

Logiciels Open Source

Neo est disponible sous forme de code en open source sous le nom projet Neo-AI sous la licence logicielle Apache. Il permet aux développeurs et aux fournisseurs de matériel de personnaliser les applications et les plates-formes matérielles, et de tirer parti de l’optimisation de Neo et de techniques dont l’utilisation requiert moins de ressources.  

Product-Page_Standard-Icons_01_Product-Features_SqInk
Découvrez les fonctionnalités d’Amazon SageMaker Neo

Reportez-vous à la documentation pour savoir comment utiliser Amazon SageMaker Neo.

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Créer gratuitement un compte

Obtenez un accès instantané à l'offre gratuite d'AWS. 

S'inscrire 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Commencez à créer sur la console

Commencez à créer avec Amazon SageMaker Neo dans AWS Management Console.

Se connecter