Amazon Bedrock prend désormais en charge l'évaluation RAG (généralement disponible)
L'évaluation d'Amazon Bedrock RAG est désormais disponible pour tous. Vous pouvez évaluer vos applications de génération à enrichissement contextuel (RAG), qu'il s'agisse de celles basées sur les bases de connaissances Amazon Bedrock ou d'un système RAG personnalisé. Vous pouvez évaluer la récupération ou la génération de bout en bout. Les évaluations sont effectuées par un LLM en tant que juge, avec un choix de plusieurs modèles de juges. Pour la récupération, vous pouvez choisir parmi des métriques telles que la pertinence du contexte et la couverture. Pour la récupération et la génération de bout-en-bout, vous pouvez choisir parmi des métriques de qualité telles que l'exactitude, l'exhaustivité et la fidélité (détection des hallucinations), ainsi que des métriques d'IA responsable telles que la nocivité, le refus de réponse et les stéréotypes. Vous pouvez également comparer les tâches d'évaluation pour les itérer dans vos bases de connaissances ou dans des applications RAG personnalisées avec différents paramètres tels que la stratégie de découpage ou la longueur des vecteurs, les reclassements ou différents modèles de génération de contenu.
*Nouveau : plus de flexibilité !* À ce jour, en plus de Bedrock Knowledge Bases, les évaluations RAG d'Amazon Bedrock prennent en charge les évaluations personnalisées du pipeline RAG. Les clients qui évaluent des pipelines RAG personnalisés peuvent désormais intégrer leurs paires d'entrées-sorties et leurs contextes récupérés dans la tâche d'évaluation directement dans leur jeu de données d'entrée, ce qui leur permet de contourner l'appel à une base de connaissances Bedrock (« bring your own inference responses (apportez vos propres réponses d'inférence) »). Nous avons également ajouté des métriques de précision et de couverture des citations pour l'évaluation de Bedrock Knowledge Bases. Si vous utilisez une base de connaissances Bedrock dans le cadre de votre évaluation, vous pouvez intégrer directement Amazon Bedrock Guardrails.
Pour en savoir plus, consultez la page et la documentation relatives aux évaluations d'Amazon Bedrock. Pour commencer, connectez-vous à la console Amazon Bedrock ou utilisez les API Amazon Bedrock.