Gestione semplificata della cache per i modelli Claude di Anthropic in Amazon Bedrock
Amazon Bedrock ha aggiornato il caching dei prompt per i modelli Claude di Anthropic al fine di migliorare la facilità d'uso dei modelli Claude 3.5 Haiku, Claude 3.7 e Claude 4.
In precedenza gli sviluppatori dovevano gestire manualmente i punti della cache e tenere traccia dei segmenti da riutilizzare. Con la gestione semplificata della cache basta impostare un punto di interruzione alla fine della richiesta. Il sistema legge automaticamente dal prefisso più lungo memorizzato in precedenza nella cache, eliminando la necessità di specificare manualmente quali segmenti riutilizzare e riducendo lo sforzo richiesto per gestire la logica della cache.
Individuando e applicando automaticamente i contenuti corretti, la gestione semplificata della cache non solo aiuta a ridurre il lavoro manuale, ma contribuisce anche a liberare più token, poiché i token letti nella cache non vengono conteggiati nei limiti di token per minuto (TPM). In questo modo è possibile semplificare la creazione di flussi di lavoro e assistenti di ricerca a più turni, migliorando al contempo sia le prestazioni che l'efficienza dei costi.
La gestione semplificata della cache è disponibile da oggi in tutte le regioni in cui i modelli Anthropic Claude 3.5 Haiku, Claude 3.7 e Claude 4 sono supportati su Amazon Bedrock. Per iniziare, consulta la guida per sviluppatori di Amazon Bedrock e abilita la memorizzazione nella cache nelle invocazioni del modello.