Amazon Robotics utilise Amazon SageMaker et AWS Inferentia pour rendre possible l'inférence ML à grande échelle.

Amazon Robotics utilise ses logiciels et ses machines pour automatiser le flux des stocks dans les centres de traitement Amazon. Le système de l'entreprise se compose de trois éléments physiques principaux : les rayonnages mobiles, les robots et les postes de travail des employés. Les robots livrent des unités de rayonnages mobiles aux stations, et les employés y placent les stocks (rangement) ou les en retirent (prélèvement). « Nos flux de travail existants en matière de rangement et de prélèvement peuvent parfois créer un goulot d'étranglement pour le traitement en aval », explique Eli Gallaudet, senior software manager chez Amazon Robotics. « En 2017, nous avons donné le coup d'envoi d'une initiative visant à déterminer comment simplifier certains de ces flux de travail. »

Afin de réduire le temps passé à scanner les bacs, Amazon Robotics a mis au point le système de détection d'intention, un système de reconnaissance d'image basé sur l'apprentissage profond et entraîné sur des millions d'exemples vidéo d'actions de rangement. L'entreprise souhaitait entraîner le système pour qu'il identifie automatiquement l'endroit où les associés placent les articles en stock. Sachant qu'il aurait besoin de calcul cloud pour déployer les modèles d'apprentissage en profondeur dans les centres de traitement Amazon, Amazon Robotics s'est tourné vers AWS. L'équipe a déployé ses modèles sur les conteneurs Docker, les hébergeant en utilisant Amazon Elastic Container Service (Amazon ECS), un service d'orchestration de conteneurs entièrement géré.

Une fois que l'équipe a recueilli suffisamment d'exemples vidéo d'actions de rangement, elle a expérimenté l'application d'architectures de modèles au grand jeu de données vidéo annotées. Après plusieurs itérations, l'équipe a pu commencer à laisser les modèles déployés automatiser le processus.

Bien qu'Amazon Robotics ait pu puiser dans les vastes ressources de calcul d'AWS, l'entreprise devait encore se charger elle-même de l'hébergement. Lorsqu'AWS a annoncé la sortie d'Amazon SageMaker lors d'AWS re:Invent 2017, Amazon Robotics l'a rapidement adoptée, évitant ainsi de devoir construire sa propre solution d'hébergement coûteuse. Amazon Robotics a été la première entreprise à se déployer à grande échelle sur Amazon SageMaker et reste l'un des déploiements les plus importants en janvier 2021.

Au début, l'équipe utilisait principalement Amazon SageMaker pour héberger les modèles. Amazon Robotics a adapté son utilisation des services en fonction des besoins, en utilisant initialement une architecture hybride et en exécutant certains algorithmes sur site et d'autres dans le cloud. « Nous avons construit un ensemble de fonctionnalités de base qui nous a permis de fournir le système de détection d'intention », explique Tim Stallman, senior software manager chez Amazon Robotics. « Et puis, au fur et à mesure que les fonctionnalités d'Amazon SageMaker sont apparues, nous avons lentement commencé à les adopter. » Par exemple, l'équipe a adopté Amazon SageMaker Experiments, une fonctionnalité qui lui a permis d'organiser, de suivre, de comparer et d'évaluer les expériences ML et les versions de modèles.

Amazon Robotics a également utilisé la scalabilité automatique Amazon SageMaker. « Amazon SageMaker ne se contente pas de gérer les hôtes que nous utilisons pour les inférences », explique M. Gallaudet. « Il ajoute ou supprime aussi automatiquement des hôtes en fonction de la charge de travail. » Parce qu'elle n'a pas besoin de se procurer ou de gérer sa propre flotte de plus de 500 GPU, l'entreprise a économisé près de 50 % sur ses coûts d'inférence.

Amazon Robotics a connu un succès considérable. L'entreprise a utilisé Amazon SageMaker pour réduire le temps consacré à la gestion et pour équilibrer le rapport entre les scientifiques et les ingénieurs en développement logiciel. Amazon SageMaker a également permis au système de prendre de l'expansion horizontalement au cours de son déploiement dans le réseau de traitement d'Amazon, et l'équipe est convaincue qu'Amazon SageMaker peut répondre à ses demandes d'inférence de pointe.

Cette solution est soutenue par Amazon Elastic Compute Cloud (Amazon EC2), qui fournit une capacité de calcul sécurisée et redimensionnable dans le cloud et permet aux utilisateurs de migrer rapidement les types d'hôtes à mesure que de nouveaux types d'hôtes deviennent disponibles. L'équipe Amazon Robotics a pu réduire ses coûts d'inférence de 20 % en migrant des instances Amazon EC2 P2 vers les instances Amazon EC2 G4. En utilisant désormais AWS Inferentia, l'équipe d'Amazon Robotics est en mesure de réduire davantage les coûts d'inférence de 35 % par rapport aux instances G4 (réduction de plus de 50 % par rapport aux instances P2) et Inferentia a fourni un débit 20 % plus élevé, leur permettant de scanner plus de colis par jour sans nécessiter plus de ressources. « Notre système utilisera plus de 1000 hôtes SageMaker en 2022 et AWS Inferentia nous aide à desservir le trafic en croissance rapide à un débit plus élevé sans recycler nos modèles ML », explique Pei Wang, ingénieur logiciel chez Amazon Robotics.

La solution basée sur Amazon SageMaker s'est développée rapidement après son déploiement initial. L'équipe d'Amazon Robotics a commencé à mettre en œuvre la solution à petite échelle dans un centre de traitement du Wisconsin et l'a rapidement étendue à des dizaines d'autres. Au fur et à mesure que la solution se développait, Amazon SageMaker s'y adaptait rapidement et harmonieusement. « Nous prévoyons de presque doubler notre volume en 2022 », déclare Gallaudet.

L'équipe voit de nombreuses autres occasions d'expérimentation sur AWS, notamment l'exécution de ses modèles en périphérie en utilisant Amazon SageMaker Edge Manager, qui gère et surveille efficacement les modèles de ML sur des flottes d'appareils intelligents. Amazon Robotics prévoit également de construire des modèles permettant d'automatiser davantage le suivi des colis et de contribuer à l'évaluation automatique des dommages subis par les colis.

En expérimentant des technologies de pointe, Amazon Robotics continue d'accroître l'efficacité des centres de traitement et d'améliorer l'expérience client d'Amazon. « Bon nombre des techniques que nous avons apprises et des expériences que nous avons vécues avec le système de détection d'intention nous ont directement permis d'avancer rapidement sur ces projets », explique M. Stallman.