Общедоступная поддержка оценки RAG в Amazon Bedrock
Оценка Amazon Bedrock для RAG теперь является общедоступной. Появилась возможность оценивать приложения с дополненной извлеченными данными генерацией (RAG), созданные на основе баз знаний Amazon Bedrock или специализированной RAG-системы. Доступна оценка как для извлечения данных, так и для процесса генерации в целом. В качестве судьи в оценках можно использовать одну из нескольких больших языковых моделей (LLM). Для извлечения данных доступны на выбор такие метрики, как релевантность контекста и охват. Для полного процесса извлечения и генерации можно выбирать такие метрики качества, как корректность, полнота и достоверность (обнаружение галлюцинаций), а также метрики ответственного использования ИИ, такие как вредоносность, отказ в выдаче ответа и стереотипность. Кроме того, задания по оценке можно сравнивать друг с другом, поэтапно изменяя различные параметры для баз знаний или специальных RAG-приложений, например стратегию разбиения, длину векторов, ранжирование или различные модели генерации контента.
*Новые гибкие возможности.* С сегодняшнего дня оценки RAG в Amazon Bedrock поддерживают не только базы знаний Bedrock, но и оценку на основе специализированных конвейеров RAG. При оценке особых конвейеров RAG клиенты теперь могут вносить собственные пары ввода-вывода и извлеченный контекст непосредственно в задания оценки в составе набора входных данных без необходимости вызывать базу знаний Bedrock (используя собственные ответы логического вывода). Для оценки баз знаний Bedrock были также добавлены метрики точности цитирования и охвата цитирования. Если вы используете базу знаний Bedrock в составе оценки, вы можете напрямую внедрять ограничения Amazon Bedrock.
Подробнее см. страницу об оценках в Amazon Bedrock и документацию. Чтобы начать пользоваться этим инструментом, войдите в консоль Amazon Bedrock или используйте API Amazon Bedrock.