Administración simplificada de la caché para los modelos Claude de Anthropic en Amazon Bedrock
Amazon Bedrock ha actualizado el almacenamiento en caché de peticiones para los modelos Claude de Anthropic para facilitar el uso de los modelos Claude 3.5 Haiku, Claude 3.7 y Claude 4.
Anteriormente, los desarrolladores debían administrar los puntos de caché manualmente y realizar un seguimiento de los segmentos almacenados en caché que debían reutilizarse. Con la administración simplificada de la caché, solo necesita establecer un punto de interrupción de la caché al final de la solicitud. El sistema lee automáticamente el prefijo más largo previamente almacenado en caché, lo que evita la necesidad de especificar manualmente qué segmentos se van a reutilizar y reduce el esfuerzo necesario para administrar la lógica de la caché.
Al identificar y aplicar automáticamente el contenido en caché correcto, la administración simplificada de la caché no solo ayuda a reducir el esfuerzo manual, sino que también ayuda a liberar más tokens, ya que los tokens de lectura de caché no se cuentan para las cuotas de tokens por minuto (TPM). Esto puede facilitar la creación de flujos de trabajo de varios turnos y asistentes de investigación, al tiempo que mejora tanto el rendimiento como la rentabilidad.
La administración simplificada de la caché ya está disponible en todas las regiones en las que se ofrecen los modelos Anthropic Claude 3.5 Haiku, Claude 3.7 y Claude 4 en Amazon Bedrock. Para empezar, consulte la Guía para desarrolladores de Amazon Bedrock y habilite el almacenamiento en caché en las invocaciones de sus modelos.