Gestion de cache simplifiée pour les modèles Claude d'Anthropic dans Amazon Bedrock
Amazon Bedrock a mis à jour la mise en cache des invites pour les modèles Claude d'Anthropic afin d'améliorer la facilité d'utilisation des modèles Claude 3.5 Haiku, Claude 3.7 et Claude 4.
Auparavant, les développeurs devaient gérer les points de cache manuellement et savoir quels segments mis en cache devaient être réutilisés. Grâce à la gestion simplifiée du cache, il vous suffit de définir un point d'arrêt du cache à la fin de votre demande. Le système lit automatiquement à partir du plus long préfixe précédemment mis en cache, ce qui élimine la nécessité de spécifier manuellement les segments à réutiliser et réduit l'effort requis pour gérer la logique de cache.
En identifiant et en appliquant automatiquement le bon contenu mis en cache, la gestion simplifiée du cache permet non seulement de réduire les efforts manuels, mais aussi de libérer davantage de jetons, car les jetons de lecture du cache ne sont pas pris en compte dans vos quotas de jetons par minute (TPM). Cela peut faciliter la création de flux de travail multitours et d'assistants de recherche, tout en améliorant à la fois les performances et la rentabilité.
La gestion simplifiée du cache est disponible dès aujourd'hui dans toutes les régions où les modèles Claude 3.5 Haiku, Claude 3.7 et Claude 4 d’Anthropic sont proposés sur Amazon Bedrock. Pour commencer, consultez le Guide du développeur Amazon Bedrock et activez la mise en cache dans les invocations de votre modèle.