Gerenciamento simplificado de cache para os modelos Claude da Anthropic no Amazon Bedrock
O Amazon Bedrock atualizou o armazenamento em cache de prompts dos modelos Claude da Anthropic para melhorar a facilidade de uso dos modelos Claude 3.5 Haiku, Claude 3.7 e Claude 4.
Anteriormente, os desenvolvedores precisavam gerenciar manualmente os pontos de cache e acompanhar quais segmentos armazenados em cache deveriam ser reutilizados. Com o gerenciamento simplificado de cache, você só precisa definir um ponto de interrupção do cache no final da solicitação. O sistema lê automaticamente o prefixo mais longo armazenado em cache anteriormente, o que elimina a necessidade de especificar manualmente quais segmentos devem ser reutilizados e reduz o esforço necessário para gerenciar a lógica do cache.
Ao identificar e aplicar automaticamente o conteúdo em cache correto, o gerenciamento simplificado de cache não só ajuda a reduzir o esforço manual, mas também ajuda a liberar mais tokens, já que os tokens de leitura do cache não são contabilizados nas cotas de token por minuto (TPM). Isso pode facilitar a criação de fluxos de trabalho e assistentes de pesquisa de várias interações, melhorando a performance e a eficiência de custos.
Atualmente, o gerenciamento simplificado de cache está disponível em todas as regiões que oferecem os modelos Anthropic Claude 3.5 Haiku, Claude 3.7 e Claude 4 no Amazon Bedrock. Para começar a usar, consulte o Guia do desenvolvedor do Amazon Bedrock e habilite o armazenamento em cache nas invocações de modelo.