Поддержка оценки импортированных пользовательских моделей в Amazon Bedrock
Оценка модели в Amazon Bedrock позволяет оценить, сравнить и выбрать наилучшую базовую модель для вашего варианта использования. В Amazon Bedrock можно выбрать автоматическую оценку и оценку с участием человека. Можно использовать автоматическую оценку с заранее заданными алгоритмами для показателей, таких как точность, надежность и токсичность. Кроме того, для этих показателей, а также субъективных и настраиваемых показателей, таких как дружелюбие, стиль и соответствие языку бренда, вы можете настроить процедуру оценки человеком всего несколькими щелчками мыши. Для рабочих процессов оценки человеком можно привлекать в качестве оценщиков ваших сотрудников или специалистов под руководством AWS. При оценке модели используются встроенные тщательно подобранные наборы данных. Вы также можете использовать собственные наборы данных.
Теперь клиенты могут оценивать собственные модели, импортированные в Amazon Bedrock с помощью функции импорта пользовательских моделей. Это позволяет клиентам закрыть весь цикл выбора базовой модели, ее настройки, оценки и, при необходимости, повторной настройки либо, если модель удовлетворительная, внедрения ее в эксплуатацию. Для оценки импортированной модели просто выберите пользовательскую модель из списка в средстве выбора при создании задания оценки.
Оценка моделей в Amazon Bedrock теперь является общедоступной в этих коммерческих регионах, а также в регионе AWS GovCloud (США – запад).
Подробнее об оценке моделей в Amazon Bedrock см. на веб-странице, посвященной опыту разработчиков Amazon Bedrock. Чтобы начать работу, войдите в Amazon Bedrock в Консоли управления AWS или используйте API Amazon Bedrock.