Функция дистилляции моделей Amazon Bedrock теперь общедоступна

Проведено: 1 мая 2025 г.

Дистилляция моделей — это процесс передачи знаний от более эффективной модели (учителя) к менее эффективной модели (ученику) с целью создания быстрой и экономичной модели-ученика, которая была бы насколько же эффективна, как и модель-учитель в конкретном варианте использования. В общедоступной версии теперь добавлена поддержка следующих новых моделей: Amazon Nova Premier (учитель) и Nova Pro (ученик), Claude 3.5 Sonnet v2 (учитель), Llama 3.3 70B (учитель) и Llama 3.2 1B/3B (ученик). Функция дистилляции моделей Amazon Bedrock теперь позволяет небольшим моделям с высокой степенью точности прогнозировать вызов функций в различных вариантах использования агентов, а также способствует сокращению времени отклика и эксплуатационных расходов. Дистиллированные модели в Amazon Bedrock работают на 500 % быстрее и стоят на 75 % меньше оригинальных, а в таких вариантах использования, как дополненная извлеченными данными генерация (RAG), потери точности составляют менее 2 %. Помимо вариантов использования в RAG, дистилляция моделей также поддерживает аугментацию данных для прогнозирования вызова функций в различных вариантах использования агентов.

Функция дистилляция моделей Amazon Bedrock предоставляет единый рабочий процесс, который автоматизирует процесс генерации ответов учителя, синтезирует данные для улучшения ответов учителей, а затем обучает модель-ученика. В процессе дистилляции моделей Amazon Bedrock могут применяться различные методы синтеза данных, наиболее подходящие для конкретного варианта использования и позволяющие получить дистиллированную модель, приблизительно соответствующую расширенной модели для данного варианта. 

Подробная информация приведена в документации, на веб-сайте и в блоге.