Amazon Bedrock kündigt eine Vorschauversion von Prompt-Caching an
Heute hat AWS bekannt geben, dass Amazon Bedrock jetzt Prompt-Caching unterstützt. Prompt-Caching ist eine neue Funktion, die die Kosten für unterstützte Modelle um bis zu 90 % und die Latenz um bis zu 85 % senken kann, indem häufig verwendete Prompts über mehrere API-Aufrufe zwischengespeichert werden. Dies ermöglicht es Ihnen, sich wiederholender Eingaben zwischenzuspeichern und eine Aufbereitung es Kontextes zu vermeiden, wie z. B. lange System-Prompts und allgemeine Beispiele, die die Modellreaktion unterstützen. Wenn Zwischenspeicher genutzt wird, reduziert sich die Menge an Rechenressourcen, die zur Generierung der Ausgabe benötigt wird. Als Resultat können wir Ihre Anfrage nicht nur zügiger bearbeiten, sondern auch die Kosteneinsparungen weitergeben, die sich aus dem verminderten Einsatz von Ressourcen ergeben.
Amazon Bedrock ist ein vollständig verwalteter Service, der über eine einzige API eine Auswahl an leistungsstarken FMs von führenden KI-Unternehmen bietet. Amazon Bedrock bietet auch eine breite Palette von Funktionen, die Kunden benötigen, um generative KI-Anwendungen mit integrierter Sicherheit, Privatsphäre und verantwortungsvoller KI zu entwickeln. Diese Funktionen helfen Ihnen, maßgeschneiderte Anwendungen für verschiedene Anwendungsfälle in unterschiedlichen Branchen zu entwickeln und unterstützen Unternehmen darin, ein nachhaltiges Wachstum durch generative KI zu erschließen, während gleichzeitig Tools bereitgestellt werden, um Kundenvertrauen und Data Governance auszubauen.
Prompt-Caching ist jetzt auf Claude 3.5 Haiku und Claude 3.5 Sonnet v2 in den USA West (Oregon) und den USA Ost (Nord-Virginia) über regionsübergreifende Inferenz verfügbar, sowie auf Nova Micro-, Nova Lite- und Nova Pro-Modellen in den USA Ost (Nord-Virginia). Bei Markteinführung wird dieses Feature lediglich einer ausgewählten Zahl von Kunden zur Verfügung stehen. Weitere Informationen zur Teilnahme an der Vorschau finden Sie auf dieser Seite. Weitere Informationen zum Prompt-Caching finden Sie in der Dokumentation und im Blog.