Publié le: Apr 23, 2024
L'évaluation des modèles sur Amazon Bedrock vous permet d'évaluer, de comparer et de sélectionner les modèles de fondation (FM) les mieux adaptés à votre cas d'utilisation. Amazon Bedrock donne le choix entre évaluation automatique et évaluation humaine. Vous pouvez utiliser la première avec des algorithmes prédéfinis pour les métriques telles que la précision, la robustesse et la toxicité. De plus, pour ces métriques, ou des métriques subjectives ou personnalisées (convivialité, style ou encore adéquation avec la voix de la marque), configurez en quelques clics un flux de travail d'évaluation humaine. Vos propres employés ou une équipe gérée par AWS seront sollicités comme réviseurs. Si l'évaluation des modèles fournit des jeux de données présélectionnés et intégrés, vous pouvez également apporter les vôtres.
L'interface interactive d'Amazon Bedrock vous guide dans l'évaluation des modèles. Il vous suffit de choisir « humaine » ou « automatique », de sélectionner le type de tâche et les indicateurs, et de charger vos jeux de données d'invite. Amazon Bedrock procède ensuite aux évaluations et génère un rapport. Ainsi, vous pouvez facilement comparer les performances des différents modèles en fonction des indicateurs que vous avez sélectionnés avant de choisir celui qui convient à votre cas d'utilisation. En utilisant ce rapport en conjonction avec les métriques relatives au coût et à la latence du terrain de jeu Amazon Bedrock, vous pouvez sélectionner le modèle avec le compromis requis en termes de qualité, de coût et de latence.
L'évaluation des modèles sur Amazon Bedrock est disponible pour tous dans les régions AWS USA Est (Virginie du Nord) et USA Ouest (Oregon). Pour en savoir plus, consultez le tableau des régions AWS.
Pour en savoir plus sur l'évaluation des modèles sur Amazon Bedrock, consultez la page Web Expérience de développement dans Amazon Bedrock. Pour commencer, connectez-vous à Amazon Bedrock sur la console de gestion AWS ou utilisez l'API Amazon Bedrock.