Amazon Bedrock Knowledge Bases prend désormais en charge l’évaluation RAG (version préliminaire)
Aujourd'hui, nous annonçons la prise en charge de l'évaluation RAG dans Amazon Bedrock Knowledge Bases. Cette fonctionnalité vous permet d'évaluer vos applications de génération à enrichissement contextuel (RAG, Retrieval-Augmented Generation) basées sur Amazon Bedrock Knowledge Bases. Vous pouvez évaluer soit la récupération d'informations, soit la récupération plus la génération de contenu. Les évaluations sont basées sur la technologie LLM-as-a-Judge, les clients ayant le choix entre plusieurs modèles de juges à utiliser. Pour l'évaluation de la récupération, vous pouvez choisir parmi des métriques telles que la pertinence du contexte et la couverture. Pour l'évaluation Récupération plus génération, vous pouvez choisir parmi des métriques de qualité telles que l'exactitude, l'exhaustivité et la fidélité (détection des hallucinations), ainsi que des métriques d'IA responsable telles que la nocivité, le refus de réponse et les stéréotypes. Vous pouvez également comparer les tâches d'évaluation afin de comparer Knowledge Bases à différents paramètres tels que la stratégie de découpage ou la longueur des vecteurs, ou différents modèles de génération de contenu.
L'évaluation des applications RAG peut être difficile, car de nombreux composants doivent être optimisés lors de la récupération et de la génération. Désormais, l'outil d'évaluation RAG d'Amazon Bedrock Knowledge Bases permet aux clients d'évaluer leurs applications basées sur la base de connaissances de manière pratique et rapide là où se trouvent déjà leurs données et leurs LLM. En outre, vous pouvez intégrer Amazon Bedrock Guardrails directement à votre évaluation pour des tests encore plus approfondis. L'utilisation de ces outils d'évaluation RAG sur Amazon Bedrock permet d'économiser sur les coûts et de gagner des semaines de délai par rapport à une évaluation humaine complète hors ligne, ce qui vous permet d'apporter des améliorations à votre application plus rapidement et plus facilement.
Pour en savoir plus, notamment sur la disponibilité régionale, consultez le blog AWS News et la page Amazon Bedrock Evaluations. Pour commencer, connectez-vous à la console Amazon Bedrock ou utilisez les API Amazon Bedrock.