Дистилляция модели Amazon Bedrock

Обзор

С помощью дистиллированных моделей Amazon Bedrock вы можете применять более компактные, быстрые и экономичные модели, обеспечивающие точность в каждом конкретном случае использования, сопоставимую с самыми передовыми моделями Amazon Bedrock. Дистиллированные модели в Amazon Bedrock работают на 500 % быстрее и стоят на 75 % дешевле оригинальных моделей, а в таких сценариях использования, как дополненная извлеченными данными генерация (RAG), точность теряется менее чем на 2 %.

Использование компактных и экономичных моделей

С помощью дистилляции моделей клиенты могут выбрать модель «учитель», точность которой они хотят достичь в своем случае использования, а затем выбрать модель «ученика», которую желают доработать. Клиенты также предоставляют подсказки в соответствии со своим вариантом использования. Модель дистилляции автоматизирует процесс генерирования ответов от учителя и использования этих ответов для настройки модели ученика. Затем модели ученика могут вести себя как модели учителей с аналогичной точностью при меньших затратах.

Снимок экрана пользовательского интерфейса

Достижение максимальной производительности дистиллированной модели с помощью запатентованного синтеза данных

Доработка компактной и экономичной модели для достижения точности аналогичной модели большего размера для конкретного варианта использования проводится многократно. Чтобы частично снять с себя бремя итераций, необходимое для достижения лучших результатов, в модели дистилляции могут применяться другие методы синтеза данных, которые лучше всего подходят для вашего варианта использования. Например, Bedrock может расширить набор обучающих данных, генерируя аналогичные подсказки или высококачественные синтетические ответы, используя в качестве эталона пары подсказок и ответов, предоставленные клиентом.

Снимок экрана пользовательского интерфейса

Сократите расходы с помощью простого переноса производственных данных

Во время традиционной тонкой настройки клиенты должны создавать подсказки и ответы. При использовании дистилляции моделей клиентам необходимо только предоставлять подсказки, которые затем используются для получения синтетических ответов и точной настройки моделей обучения. Клиенты могут направлять нас к своим журналам вызовов, а также отфильтровывать журналы на основе определенных полей метаданных. Дистилляция моделей позволяет считывать как запросы, так и ответы из журналов вызовов и пропускать генерацию синтетических ответов в рабочем процессе дистилляции, что снижает затраты из-за отсутствия необходимости снова генерировать ответы из модели обучения. Начните с примеров кода.

Снимок экрана пользовательского интерфейса