La distillation de modèles Amazon Bedrock Distillation est désormais disponible pour tous
La distillation des modèles est le processus de transfert de connaissances d'un modèle plus performant (enseignant) à un modèle moins performant (étudiant) dans le but de rendre le modèle étudiant plus rapide et rentable aussi performant que l'enseignant pour un cas d'utilisation spécifique. Avec la disponibilité générale, nous prenons désormais en charge les nouveaux modèles suivants : Amazon Nova Premier (enseignant) et Nova Pro (étudiant), Claude 3.5 Sonnet v2 (enseignant), Llama 3.3 70B (enseignant) et Llama 3.2 1B/3B (étudiant). La distillation de modèles Amazon Bedrock permet désormais à des modèles plus petits de prédire avec précision les fonctions nécessitant des cas d'utilisation par les agents, tout en permettant d'accélérer considérablement les temps de réponse et de réduire les coûts opérationnels. Les modèles distillés dans Amazon Bedrock sont jusqu'à 500 % plus rapides et 75 % moins chers que les modèles originaux, avec une perte de précision inférieure à 2 % pour des cas d'utilisation tels que RAG. Outre les cas d'utilisation RAG, la distillation de modèles ajoute également la prise en charge de l'augmentation des données pour les cas d'utilisation des agents pour la prédiction des appels de fonctions.
La distillation de modèles Amazon Bedrock propose un flux de travail unique, qui automatise le processus nécessaire pour générer les réponses des enseignants, ajoute la synthèse des données pour améliorer les réponses des enseignants, puis entraîne le modèle étudiant. La distillation de modèles Amazon Bedrock peut choisir d'appliquer différentes méthodes de synthèse de données les mieux adaptées à votre cas d'utilisation afin de créer un modèle distillé qui correspond approximativement au modèle avancé pour le cas d'utilisation spécifique.
Pour en savoir plus, consultez notre documentation, notre site Web et notre blog.