Veröffentlicht am: May 17, 2024
Wir freuen uns, Ihnen mitteilen zu können, dass Sie in den Wissensdatenbanken für Amazon Bedrock jetzt Inferenzparameter konfigurieren können, um die von einem Basismodell (FM) generierten Antworten besser zu kontrollieren.
Mit dieser Neuerung können Sie optional Inferenzparameter festlegen, um Parameter wie Zufälligkeit und Länge der vom Basismodell generierten Antwort zu definieren. Sie können steuern, wie zufällig oder unterschiedlich der generierte Text ist, indem Sie einige Einstellungen wie Temperatur und top-p anpassen. Durch die Temperatureinstellung ist es mehr oder weniger wahrscheinlich, dass das Modell ungewöhnliche oder unerwartete Wörter verwendet. Ein niedrigerer Temperaturwert generiert erwartete und geläufigere Wörter. Die top-p-Einstellung begrenzt, wie viele Wortoptionen das Modell berücksichtigt. Durch die Reduzierung dieser Zahl wird die Berücksichtigung auf eine kleinere Anzahl von Wörtern beschränkt, wodurch die Ausgabe konventioneller wird.
Zusätzlich zu Zufälligkeit und Vielfalt können Sie die Länge der Ausgabe des Basismodells durch maxTokens und stopsequences einschränken. Sie können die maxTokens-Einstellung verwenden, um die minimale oder maximale Anzahl von Token anzugeben, die in der generierten Antwort zurückgegeben werden sollen. Schließlich können Sie mit der stopsequences-Einstellung Zeichenketten konfigurieren, die als Steuerung für das Modell dienen, um die Generierung weiterer Token zu unterbinden.
Die Funktion für Inferenzparameter in Wissensdatenbanken ist jetzt in den Regionen Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Europa (Frankfurt), USA Ost (Nord-Virginia) und USA West (Oregon) verfügbar. Weitere Informationen finden Sie in der Dokumentation zu Wissensdatenbanken für Amazon Bedrock. Um loszulegen, nutzen Sie die Amazon-Bedrock-Konsole oder die RetrieveAndGenerate-API.