Amazon SageMaker Clarify теперь поддерживает оценку базовых моделей
Оценки базовых моделей с помощью SageMaker Clarify теперь общедоступны. Эта возможность помогает специалистам по обработке данных и инженерам по машинному обучению за считанные минуты оценивать, сравнивать и выбирать базовые модели на основе множества критериев для различных задач.
Клиенты SageMaker выбирают сотни базовых моделей для поддержки своих генерирующих приложений искусственного интеллекта. Они оценивают и сравнивают эти модели при выборе и настройке модели, чтобы определить оптимальное соответствие их варианту использования. Этот процесс может занять несколько дней, определяя соответствующие контрольные показатели, настраивая инструменты оценки и проводя оценку каждой модели. Полученные результаты часто сложно применить к их конкретному варианту использования.
SageMaker Clarify предлагает автоматизированные и человеческие оценки с интерпретируемыми результатами. Клиенты могут использовать эту новую возможность в Amazon SageMaker Studio для оценки LLM, размещенных на SageMaker, или использовать fmeval для оценки любых LLM. Начните с использования тщательно подобранных наборов оперативных данных, предназначенных для таких задач, как генерация текста, суммирование, ответы на вопросы и классификация. Настройте параметры вывода и шаблоны подсказок и сравните результаты различных настроек моделей. Расширьте оценки с помощью настраиваемых быстрых наборов данных и метрик. Человеческие оценки позволяют клиентам оценивать более субъективные аспекты, такие как креативность и стиль. После каждой оценки клиенты получают исчерпывающий отчет с визуализациями и примерами и интегрируют их в свои рабочие процессы SageMaker ML.
Эта возможность доступна во всех регионах AWS, кроме регионов AWS GovCloud (США), регионов Китая, Азиатско-Тихоокеанского региона (Хайдарабад), Азиатско-Тихоокеанского региона (Мельбурн), Западной Канады (Калгари), Европы (Цюрих), Европы (Стокгольм), Европы (Испания), Израиля (Тель-Авив), Ближнего Востока (ОАЭ).
Дополнительные сведения см. на странице продукта, документации и странице цен.