Amazon Bedrock Model Distillation è ora disponibile al pubblico
Amazon Bedrock Model Distillation è il processo di trasferimento delle conoscenze da un modello più capace (insegnante) a uno meno capace (studente) con l'obiettivo di rendere modello studente, il più veloce e conveniente, capace di prestazioni pari a quelle del modello insegnante per uno specifico caso d'uso. Con questo aggiornamento ora vengono supportati anche i seguenti nuovi modelli: Amazon Nova Premier (insegnante) e Nova Pro (studente), Claude 3.5 Sonnet v2 (insegnante), Llama 3.3 70B (insegnante) e Llama 3.2 1B/3B (studente). Amazon Bedrock Model Distillation ora consente ai modelli più piccoli di prevedere con precisione le chiamate di funzione per i casi d'uso degli agenti, contribuendo a fornire tempi di risposta notevolmente più rapidi e costi operativi inferiori. I modelli distillati in Amazon Bedrock sono fino al 500% più veloci e fino al 75% meno costosi rispetto a quelli originali, con una perdita di precisione inferiore al 2% per casi d'uso come RAG. Oltre ai casi d'uso RAG, Model Distillation aggiunge anche il supporto per l'aumento dei dati dei casi d'uso degli agenti da usare per la previsione delle chiamate di funzioni.
Amazon Bedrock Model Distillation offre un unico flusso di lavoro che automatizza il processo necessario per generare le risposte dei modelli insegnanti, aggiunge la sintesi dei dati per migliorare le risposte dei modelli insegnanti e addestra il modello studente. Amazon Bedrock Model Distillation può applicare diversi metodi di sintesi dei dati che risultino più adatti al caso d'uso in questione in modo da creare un modello distillato che corrisponda approssimativamente a quello avanzato ideato per il caso d'uso specifico.
Per saperne di più, consulta la nostra documentazione, il sito web e il blog.