Destilação de Modelos do Amazon Bedrock já disponível
A Destilação de Modelos é o processo de transferência de conhecimento de um modelo mais capaz (instrutor) para um menos capaz (aprendiz) com o objetivo de tornar o modelo aprendiz mais rápido e econômico, para ser tão eficiente quanto o instrutor em um caso de uso específico. Com a disponibilidade geral, agora adicionamos suporte para os seguintes novos modelos: Amazon Nova Premier (instrutor) e Nova Pro (aprendiz), Claude 3.5 Sonnet v2 (instrutor), Llama 3.3 70B (instrutor) e Llama 3.2 1B/3B (aprendiz). A Destilação de Modelos do Amazon Bedrock agora permite que modelos menores prevejam com precisão os casos de uso de chamadas de funções para agentes, ao mesmo tempo em que ajudam a oferecer tempos de resposta substancialmente mais rápidos e custos operacionais mais baixos. No Amazon Bedrock, os modelos destilados fornecem uma performance até 500% mais rápida e reduzem os custos em 75%, apresentando menos de 2% de perda de precisão em casos de uso como a RAG. Além dos casos de uso do RAG, a Destilação de Modelos também adiciona suporte para aumento de dados para casos de uso de agentes para a previsão de chamadas de funções.
A Destilação de Modelos do Amazon Bedrock oferece um único fluxo de trabalho que automatiza o processo necessário para gerar respostas do instrutor, adiciona a síntese de dados para melhorar as respostas do instrutor e, em seguida, treina o modelo aprendiz. A Destilação de Modelos do Amazon Bedrock pode optar por aplicar diferentes métodos de síntese de dados que sejam mais adequados ao caso de uso para criar um modelo destilado que corresponda aproximadamente ao modelo avançado para esse caso de uso.
Saiba mais em nossa documentação, site e blog.