Publié le: Nov 18, 2022
Aujourd'hui, nous annonçons la disponibilité publique du modèle de paramètre d'Alexa Teacher Model 20 Billion (AlexaTM 20B) dans SageMaker JumpStart. Les clients peuvent accéder au modèle AlexaTM 20B par programmation afin d'exécuter l'inférence à l'aide des API disponibles dans SageMaker Python SDK.
Le programme Alexa Teacher Model (AlexaTM) d'Amazon Alexa est conçu pour construire des modèles de deep learning (principalement basés sur transformateur) multitâches et multilingues à grande échelle. Le but ? Améliorer la généralisation sans avoir besoin de grandes quantités de données pour les tâches en aval. En tirant parti d'un pré-entraînement à grande échelle, les modèles d'enseignants peuvent généraliser correctement afin d'apprendre de nouvelles tâches en provenance de données clairsemées, tout en aidant les développeurs à améliorer la précision des tâches en aval. AlexaTM 20B est le plus grand modèle d'IA d'Alexa en termes de taille. Ses performances se sont avérées concurrentielles pour les tâches de NLP et les benchmarks communs (SuperGLUE et XNLI).
Amazon SageMaker JumpStart, le hub de machine learning (ML) de SageMaker, offre plus de 350 algorithmes intégrés, des modèles pré-entraînés et des modèles de solutions pré-construits pour aider les clients à démarrer rapidement avec le ML. Les modèles pré-entraînés hébergés dans JumpStart incluent des modèles publiquement disponibles de type State-of-the Art (SOTA) provenant de hubs de modèles populaires comme TensorFlow, PyTorch, Hugging Face et MXNet. Ils prennent en charge des tâches de ML populaires telles que la détection d'objets, la classification de texte et la génération de texte. Pour aider les scientifiques des données et les professionnels du ML à se lancer rapidement et en toute sécurité, les contenus sont stockés dans un référentiel AWS et accompagnés de scripts de formation et d'inférence compatibles avec les fonctionnalités SageMaker. Les clients peuvent affiner les modèles en utilisant leurs propres données ou les déployer tels quels pour l'inférence.
AlexaTM 20B peut être utilisé dans toutes les régions où Amazon SageMaker est disponible.
Consultez le blog Alexa Science pour en savoir plus sur le modèle et sur AlexaTM et le blog consacré au lancement de JumpStart pour en savoir plus sur la manière d'y accéder à l'aide de JumpStart. Pour parcourir tous les modèles disponibles dans SageMaker JumpStart, veuillez visiter le hub SageMaker JumpStart ML.