Publié le: Apr 21, 2020
À compter d’aujourd’hui, les clients PyTorch peuvent utiliser TorchServe, un nouveau cadre de modèle de diffusion, pour déployer des modèles entraînés à grande échelle, sans avoir à écrire de code personnalisé.
PyTorch est un cadre de machine learning open source, créé à l’origine par Facebook. Il est devenu populaire auprès des chercheurs et scientifiques des données ML pour sa simplicité d’utilisation et son interface « Pythonic ». Toutefois, déployer et gérer des modèles en production est souvent ce qu’il y a de plus difficile à réaliser dans le processus du machine learning : les clients doivent écrire des API de prévisions, puis les dimensionner.
TorchServe facilite le déploiement à l’échelle des modèles PyTorch dans des environnements de production. La solution offre une diffusion légère à faible latence. Vous pouvez ainsi déployer vos modèles et obtenir des inférences à haute performance. Elle fournit des gestionnaires par défaut pour les applications les plus courantes, comme la détection d’objets et la classification de texte. De cette manière, vous n’avez pas à écrire des codes personnalisés pour déployer vos modèles. Grâce aux puissantes fonctionnalités de TorchServe, dont la diffusion multi-modèles, les versions de modèle pour les tests A/B, les métriques pour la surveillance et les points de terminaison RESTful pour l’intégration d’applications, vous pouvez rapidement faire passer vos modèles du stade Recherche au stade Production. TorchServe prend en charge n’importe quel environnement de machine learning, y compris Amazon SageMaker, Kuberbetes, Amazon EKS et Amazon EC2.
TorchServe est développé et mis à jour par AWS en collaboration avec Facebook, et est disponible dans le cadre du projet open source PyTorch. Pour commencer, consultez le référentiel TorchServe GitHub ainsi que la documentation associée.