Amazon Bedrock anuncia versão prévia do armazenamento em cache de prompts
Hoje, a AWS anuncia que o Amazon Bedrock agora oferece suporte ao armazenamento em cache de prompts. O armazenamento em cache de prompts é um novo recurso que pode reduzir os custos em até 90% e a latência em até 85% nos modelos compatíveis, armazenando em cache os prompts usados com frequência em várias chamadas de API. Ele permite armazenar em cache as entradas repetitivas e evitar o reprocessamento de contexto, como prompts longos do sistema e exemplos comuns que ajudam a orientar a resposta do modelo. Quando o cache é usado, menos recursos de computação são necessários para gerar saída. Como resultado, não só podemos processar sua solicitação mais rapidamente, mas também podemos repassar a economia de custos resultante do uso de menos recursos.
O Amazon Bedrock é um serviço totalmente gerenciado que oferece opções de FMs de alta performance das principais empresas de IA por meio de uma única API. Além disso, o Amazon Bedrock oferece um amplo conjunto de recursos necessários para que os clientes criem aplicações de IA generativa que incorporam recursos de segurança, privacidade e IA responsável. Esses recursos ajudam você a criar aplicações personalizadas para vários casos de uso em diferentes setores, ajudando as organizações a desbloquear o crescimento sustentado da IA generativa e, ao mesmo tempo, fornecer ferramentas para aumentar a confiança do cliente e a governança de dados.
O armazenamento em cache de prompts agora está disponível no Claude 3.5 Haiku e no Claude 3.5 Sonnet v2 nas regiões Oeste dos EUA (Oregon) e Leste dos EUA (Norte da Virgínia) por meio da inferência entre regiões, e nos modelos Nova Micro, Nova Lite e Nova Pro na região Leste dos EUA (Norte da Virgínia). No lançamento, somente um número seleto de clientes terá acesso a esse atributo. Para saber mais sobre como participar da versão prévia, consulte esta página. Para saber mais sobre o armazenamento em cache de prompts, consulte nossa documentação e nosso blog.