Vereinfachte Cache-Verwaltung für die Claude-Modelle von Anthropic in Amazon Bedrock
Amazon Bedrock hat das Prompt-Caching für die Claude-Modelle von Anthropic aktualisiert, um die Benutzerfreundlichkeit der Modelle Claude 3.5 Haiku, Claude 3.7 und Claude 4 zu verbessern.
Zuvor mussten die Entwickler die Cache-Punkte manuell verwalten und im Auge behalten, welche zwischengespeicherten Segmente wiederverwendet werden sollten. Bei der vereinfachten Cache-Verwaltung müssen Sie nur am Ende Ihrer Anfrage einen Cache-Breakpoint setzen. Das System liest automatisch aus dem längsten zuvor zwischengespeicherten Präfix, so dass nicht mehr manuell festgelegt werden muss, welche Segmente wiederverwendet werden sollen, und der Aufwand für die Verwaltung der Cache-Logik reduziert wird.
Durch die automatische Identifizierung und Anwendung der richtigen Cache-Inhalte reduziert die vereinfachte Cache-Verwaltung nicht nur den manuellen Aufwand, sondern setzt auch mehr Token frei, da Lese-Token aus dem Cache nicht auf Ihre Quoten für Token pro Minute (TPM) angerechnet werden. Dies kann den Aufbau von Multi-Turn-Workflows und Forschungsassistenten erleichtern und gleichzeitig die Leistung und Kosteneffizienz verbessern.
Die vereinfachte Cache-Verwaltung ist ab heute in allen Regionen verfügbar, in denen die Anthropic-Modelle Claude 3.5 Haiku, Claude 3.7 und Claude 4 auf Amazon Bedrock angeboten werden. Um loszulegen, lesen Sie das Amazon Bedrock Entwicklerhandbuch und aktivieren das Caching in Ihren Modellaufrufen.