Die Amazon-Bedrock-Modelldestillation ist jetzt allgemein verfügbar
Modelldestillation ist der Prozess des Wissenstransfers von einem leistungsfähigeren Modell (Lehrer) auf ein weniger leistungsfähiges (Schüler) mit dem Ziel, das schnellere und kostengünstigere Schülermodell für einen bestimmten Anwendungsfall so leistungsfähig wie der Lehrer zu machen. Die folgenden neuen Modelle sind ab sofort allgemein verfügbar: Amazon Nova Premier (Lehrer) und Nova Pro (Schüler), Claude 3.5 Sonnet v2 (Lehrer), Llama 3.3 70B (Lehrer) und Llama 3.2 1B/3B (Schüler). Die Amazon-Bedrock-Modelldestillation ermöglicht es nun kleineren Modellen, Anwendungsfälle von Funktionsaufrufen für Agenten genau vorherzusagen und gleichzeitig zu wesentlich schnelleren Reaktionszeiten und niedrigeren Betriebskosten beizutragen. Destillierte Modelle in Amazon Bedrock sind bis zu 500 % schneller und 75 % günstiger als Originalmodelle, mit einem Genauigkeitsverlust von weniger als 2 % für Anwendungsfälle wie RAG. Zusätzlich zu den RAG-Anwendungsfällen unterstützt die Modelldestillation auch die Datenerweiterung für Agenten-Anwendungsfälle zur Vorhersage von Funktionsaufrufen.
Die Amazon-Bedrock-Modelldestillation automatisiert die Generierung der Antworten von Lehrern in einem einzigen Workflow, fügt eine Datensynthese zur Verbesserung der Lehrerantworten hinzu und trainiert anschließend das Schülermodell. Die Amazon-Bedrock-Modeldestillation kann verschiedene Datensynthesemethoden anwenden, je nachdem, welche für Ihren Anwendungsfall am besten geeignet sind. Daraus ergibt sich ein destilliertes Modell, das in etwa dem erweiterten Modell für den spezifischen Anwendungsfall entspricht.
Weitere Informationen entnehmen Sie der Dokumentation, der Website und dem Blog.