Publié le: Nov 29, 2023
Amazon SageMaker Clarify annonce aujourd'hui la sortie d'une nouvelle fonctionnalité permettant de prendre en charge l'évaluation des modèles de fondation (FM). Les clients AWS peuvent en quelques minutes comparer et sélectionner des modèles FM en fonction de paramètres tels que la précision, la robustesse, le biais et la toxicité.
Aujourd'hui, nos clients ont le choix entre un large éventail de modèles FM pour leurs applications d'IA générative. Ils souhaitent pouvoir les comparer rapidement afin de trouver la solution la plus adaptée à leur cas d'utilisation. Ils commencent pour cela par passer des jours à identifier des points de référence pertinents, à configurer des outils d'analyse et à effectuer des évaluations sur chaque modèle. Les résultats qu'ils obtiennent alors sont souvent difficiles à déchiffrer.
SageMaker Clarify prend désormais en charge l'évaluation des modèles FM lors de la phase de sélection et tout au long du flux de travail de personnalisation. Nos clients s'appuient ainsi sur des jeux de données d'invite sélectionnés et spécialement conçus pour des tâches courantes comme la génération de texte, le résumé automatique, les systèmes de questions-réponses et la classification. Ils peuvent étendre l'évaluation des modèles FM à l'aide de leurs propres jeux de données personnalisés. Des évaluations effectuées à la main sont possibles pour examiner des facettes plus subjectives, telles que la créativité et le style. Après chaque évaluation, nos clients reçoivent un rapport qui résume en langage naturel les résultats obtenus, en intégrant des visualisations et des exemples. Ils ont la possibilité de télécharger tous les indicateurs et rapports pour les intégrer dans leurs flux de travail SageMaker de machine learning.
Cette fonctionnalité est disponible en version préliminaire dans certaines régions : Asie-Pacifique (Singapour), Asie-Pacifique (Tokyo), Europe (Francfort), Europe (Irlande), USA Est (Ohio), USA Est (Virginie du Nord) et USA Ouest (Oregon). Pour plus d'informations, consultez notre documentation et notre page de tarification.