Publié le: Apr 25, 2024
Les évaluations des modèles de base avec SageMaker Clarify sont désormais disponibles pour tous. Cette fonctionnalité permet aux scientifiques des données et aux ingénieurs en machine learning d'évaluer, de comparer et de sélectionner des modèles de fondation en fonction de divers critères et de différentes tâches en quelques minutes.
Les clients de SageMaker choisissent parmi des centaines de modèles de fondation pour alimenter leurs applications d'IA générative. Ils évaluent et comparent ces modèles lors de la sélection et de la personnalisation des modèles afin de déterminer l'ajustement optimal pour leur cas d'utilisation. Ce processus peut prendre des jours pour identifier les points de référence pertinents, configurer les outils d'évaluation et effectuer une évaluation de chaque modèle. Les résultats obtenus sont souvent difficiles à appliquer à leur cas d'utilisation spécifique.
SageMaker Clarify propose des évaluations automatisées et humaines avec des résultats interprétables. Les clients peuvent utiliser cette nouvelle fonctionnalité dans Amazon SageMaker Studio pour évaluer les LLM hébergées par SageMaker ou utiliser fmeval pour évaluer n'importe quelle LLM. Commencez par utiliser des jeux de données rapides sélectionnés et adaptés à des tâches telles que la génération de texte, la synthèse, la réponse aux questions et la classification. Personnalisez les paramètres d'inférence, demandez des modèles et comparez les résultats des différents paramètres des modèles. Étendez les évaluations à l'aide de jeux de données et de métriques rapides personnalisés. Les évaluations humaines permettent aux clients d'évaluer des aspects plus subjectifs tels que la créativité et le style. À la suite de chaque évaluation, les clients reçoivent un rapport complet, avec des visualisations et des exemples, et les intègrent à leurs flux de travail SageMaker ML.
Cette fonctionnalité est disponible dans toutes les régions AWS, à l'exception des régions AWS GovCloud (US), Chine, Asie-Pacifique (Hyderabad), Asie-Pacifique (Melbourne), Canada Ouest (Calgary), Europe (Zurich), Europe (Stockholm), Europe (Espagne), Israël (Tel Aviv) et Moyen-Orient (EAU).
Pour en savoir plus, consultez notre page produit, la documentation et notre page de tarification.