Destilação de modelos do Amazon Bedrock já está disponível para pré-visualização
Com a destilação de modelos do Amazon Bedrock, os clientes podem usar modelos menores, mais rápidos e mais econômicos. Esses modelos menores oferecem uma precisão específica para cada caso de uso que é comparável aos modelos mais capazes do Amazon Bedrock.
Atualmente, o ajuste de um modelo menor e econômico a fim de aumentar sua precisão para o caso de uso de um cliente é um processo iterativo em que os clientes precisam escrever prompts e respostas, refinar o conjunto de dados de treinamento, garantir que ele capture diversos exemplos e ajustar os parâmetros de treinamento.
A destilação de modelos do Amazon Bedrock automatiza o processo necessário para gerar dados sintéticos do modelo professor, treina e avalia o modelo aluno e, em seguida, hospeda o modelo destilado final para inferência. Para eliminar parte da carga da iteração, a destilação de modelos pode optar por aplicar diferentes métodos de síntese de dados que sejam mais adequados ao caso de uso para criar um modelo destilado que corresponda aproximadamente ao modelo avançado para esse caso de uso. Por exemplo, o Bedrock pode ampliar o conjunto de dados de treinamento gerando prompts semelhantes ou gerar respostas sintéticas de alta qualidade usando pares prompt/resposta fornecidos pelo cliente como exemplos de referência.
Saiba mais na documentação e no blog.