Publié le: Jul 12, 2021
Aujourd'hui, nous sommes ravis d'annoncer AWS Deep Learning Containers (DLC) avec des kits SDK intégrés pour l'inférence qui permettent aux clients de déployer facilement des modèles Hugging Face dans Amazon SageMaker à grande échelle. Il s'agissait de l'exigence numéro un des clients qui ont profité des DLC AWS Hugging Face pour entraînement (les DLC d'entraînement Hugging Face) qui ont été lancés en mars 2021.
À partir d'aujourd'hui, Amazon SageMaker prend en charge le déploiement des modèles Hugging Face à l'aide des conteneurs AWS Deep Learning Containers Hugging Face pour l'inférence (des DLC d'inférence Hugging Face) en plus des DLC d'entraînement Hugging Face. Le DLC d'inférence Hugging Face prend en charge les cadres TensorFlow et PyTorch, offrant ainsi un choix à nos clients. Les DLC d'inférence Hugging Face simplifient l'hébergement de modèles, permettant aux clients de déployer à grande échelle en quelques minutes seulement. Cela permet également aux clients de rationaliser leurs opérations avec SageMaker Pipelines. Enfin, cette version permet aux clients de déployer des modèles Hugging Face directement à partir de leur Hugging Face Model Hub, ou de déployer un modèle qu'ils ont précédemment affiné avec nos DLC d'entraînement Hugging Face.
Depuis 2016, Hugging Face est un leader de la communauté NLP avec sa bibliothèque de transformateurs et son Model Hub qui propose plus de 10 000 modèles pré-entraînés, facilitant ainsi le travail de mise en route des développeurs. Avec plus de 41 000 étoiles GitHub et plus de 25 millions de téléchargements, la bibliothèque de transformateurs de Hugging Face est devenue de facto la référence pour les développeurs qui créent des modèles NLP. Le DLC d'inférence de Hugging Face dans le kit SDK Python d'Amazon SageMaker permet aux développeurs de déployer facilement ces modèles sur AWS. Le DLC d'inférence Hugging Face contient la bibliothèque de transformateurs Hugging Face, le cadre de Deep Learning (DL) et un serveur de modèles de DL optimisés pour SageMaker. Les développeurs peuvent déployer leurs modèles Hugging Face pré-entraînés sur AWS avec un minimum de code supplémentaire par rapport à l'hébergement d'un conteneur personnalisé. Les développeurs travaillant avec les modèles Hugging Face peuvent désormais développer plus facilement sur Amazon SageMaker et bénéficier de la rentabilité, de la capacité de mise à l'échelle, de la préparation à la production et du niveau de sécurité élevé que SageMaker offre pour l'hébergement de modèles.
Le DLC d'inférence Hugging Face est disponible dans toutes les régions où Amazon SageMaker est disponible, sans coût supplémentaire. Lisez le blog et la documentation pour en savoir plus, ou accédez aux exemples de blocs-notes pour tester les nouvelles intégrations.