A Otimização Avançada de Prompts do Amazon Bedrock agora oferece suporte ao encurtamento de prompts
A Otimização Avançada de Prompts do Amazon Bedrock agora oferece suporte ao encurtamento de prompts, uma configuração opcional que reduz a duração do prompt e, ao mesmo tempo, mantém ou melhora suas pontuações de avaliação. A Otimização Avançada de Prompts otimiza prompts para qualquer modelo no Amazon Bedrock de acordo com seus próprios critérios de avaliação. Até agora, a otimização se concentrava apenas na qualidade. Os prompts otimizados geralmente eram mais longos do que os originais. Prompts mais longos aumentam os custos do token de entrada e podem aumentar o tempo até o primeiro token, o que é importante em escala e em aplicativos sensíveis à latência.
Quando você ativa o encurtamento de prompt para um modelo de prompt em seu conjunto de dados de entrada, o otimizador reduz o tamanho do prompt. O prompt otimizado é retornado somente quando é menor do que o prompt original e tem uma pontuação pelo menos tão alta em sua avaliação. Caso contrário, seu prompt original é retornado, então a configuração nunca deixa você com um prompt mais longo ou com pontuação mais baixa. Os resultados incluem uma taxa de compressão e as contagens de tokens originais e otimizadas, no arquivo de saída e na página de resultados do console. Por exemplo, uma taxa de compressão de 0,7 significa que o prompt otimizado usa 30% menos tokens. O encurtamento imediato funciona com qualquer método de avaliação, incluindo critérios de orientação, rubricas de LLM com avaliador e avaliadores Lambda personalizados.
O encurtamento imediato está disponível em todas as regiões da AWS em que a Otimização Avançada de Prompts está disponível. Para começar, ative o encurtamento de prompts para um modelo de prompt em seu conjunto de dados de entrada e crie uma tarefa de otimização, como de costume. Para saber mais, consulte Como encurtar prompts no Guia do usuário do Amazon Bedrock, a página de preços do Amazon Bedrock e a página do produto Amazon Bedrock.