La destilación de modelos de Amazon Bedrock ya está disponible con carácter general
La destilación de modelos es el proceso de transferencia de conocimientos de un modelo más capaz (instructor) a otro menos capaz (aprendiz) con el objetivo de hacer que el modelo aprendiz más rápido y rentable sea tan eficiente como el modelo instructor para un caso de uso específico. Ahora agregamos compatibilidad con disponibilidad general con los siguientes modelos nuevos: Amazon Nova Premier (instructor) y Nova Pro (aprendiz), Claude 3.5 Sonnet v2 (instructor), Llama 3.3 70B (instructor) y Llama 3.2 1B/3B (aprendiz). La destilación de modelos de Amazon Bedrock ahora permite que los modelos más pequeños predigan con precisión los casos de uso de llamadas a funciones para agentes, a la vez que ayuda a ofrecer tiempos de respuesta considerablemente más rápidos y a reducir los costos operativos. Los modelos destilados de Amazon Bedrock son hasta un 500 % más rápidos y un 75 % más baratos que los modelos originales, con una pérdida de precisión inferior al 2 % en casos de uso como RAG. Además de los casos de uso de RAG, la destilación de modelos también agrega soporte para el aumento de datos para los casos de uso de los agentes para la predicción de llamadas a funciones.
La destilación de modelos de Amazon Bedrock ofrece un flujo de trabajo único que automatiza el proceso necesario para generar las respuestas de los modelos instructor, agrega la síntesis de datos para mejorar las respuestas de los modelos instructor y, a continuación, entrena el modelo aprendiz. La destilación de modelos de Amazon Bedrock puede optar por aplicar los diferentes métodos de síntesis de datos que mejor se adapten a su caso de uso para crear un modelo destilado que coincida aproximadamente con el modelo avanzado para el caso de uso específico.
Obtenga más información en nuestra documentación, sitio web y blog.