Llama 3.3 70B est désormais disponible sur AWS via Amazon SageMaker JumpStart

Publié le: 26 déc. 2024

Les clients AWS peuvent désormais accéder au modèle Llama 3.3 70B depuis Meta via Amazon SageMaker JumpStart. Le modèle Llama 3.3 70B offre un équilibre entre hautes performances et efficacité informatique. Il offre également une qualité de sortie comparable à celle des versions plus grandes de Llama tout en nécessitant beaucoup moins de ressources, ce qui en fait un excellent choix pour des déploiements d'IA rentables.

Llama 3.3 70B dispose d'un mécanisme d'attention amélioré qui réduit considérablement les coûts d'inférence. Formé sur environ 15 billions de jetons, y compris du contenu web et des exemples synthétiques, le modèle a fait l'objet d'un ajustement minutieux supervisé et d'un apprentissage par renforcement à partir de rétroaction humaine (RLHF). Cette approche permet d'aligner plus étroitement les résultats sur les préférences humaines tout en maintenant des normes de performance élevées. Selon Meta, ce gain d'efficacité se traduit par des opérations d'inférence presque cinq fois plus rentables, ce qui en fait une option intéressante pour les déploiements en production.

Les clients peuvent déployer Llama 3.3 70B via l'interface utilisateur de SageMaker JumpStart ou par programmation à l'aide du kit SDK Python de SageMaker. Les fonctionnalités d'inférence avancées de SageMaker AI permettent d'optimiser à la fois les performances et la rentabilité de vos déploiements, vous permettant de tirer pleinement parti de l'efficacité inhérente à Llama 3.3 70B tout en bénéficiant d'un processus de déploiement rationalisé.

Le modèle Llama 3.3 70B est disponible dans toutes les régions AWS où Amazon SageMaker AI est disponible. Pour en savoir plus sur le déploiement de Llama 3.3 70B sur Amazon SageMaker JumpStart, consultez la documentation ou le blog.