La distillazione del modello di Amazon Bedrock è ora disponibile in anteprima
Con la distillazione del modello di Amazon Bedrock i clienti possono utilizzare modelli più piccoli, più veloci e più convenienti che offrono una precisione specifica per i casi d'uso paragonabile ai modelli più capaci di Amazon Bedrock.
Oggi l'ottimizzazione di un modello più piccolo e più efficiente in termini di costi volta ad aumentarne la precisione rispetto al caso d'uso dei clienti è un processo iterativo in cui i clienti devono scrivere prompt e risposte, ottimizzare il set di dati di addestramento, assicurarsi che il set di dati di addestramento acquisisca diversi esempi e regolare i parametri di addestramento.
La distillazione del modello di Amazon Bedrock automatizza il processo necessario a generare dati sintetici dal modello dell'insegnante, addestra e valuta il modello dello studente e quindi ospita il modello distillato finale per l'inferenza. Per eliminare parte del lavoro di iterazione, la distillazione del modello può applicare diversi metodi di sintesi dei dati che risultino più adatti al caso d'uso in questione in modo da creare un modello distillato che corrisponda approssimativamente a quello avanzato per il caso d'uso specifico. Ad esempio, Bedrock può espandere il set di dati di addestramento generando prompt simili oppure può generare risposte sintetiche di alta qualità utilizzando le coppie prompt-risposta fornite dal cliente come esempi di riferimento.
Per ulteriori informazioni consulta la nostra documentazione e il nostro blog.