Amazon Bedrock AgentCore lança recursos para otimizar o desempenho de agentes (pré-visualização)
O Amazon Bedrock AgentCore lança recomendações e duas formas de validação de desempenho (avaliações em lote e testes A/B). Esses recursos completam o ciclo de observação, avaliação e melhoria de agentes de IA em produção. Até agora, converter as descobertas de avaliação em melhorias concretas e validadas exigia intervenção manual e intuição dos desenvolvedores, em vez de uma abordagem sistemática. Com as recomendações, avaliações em lote e testes A/B, os desenvolvedores já contam com as ferramentas para agir sobre as avaliações geradas.
Com a evolução dos modelos e as mudanças no comportamento dos usuários, a qualidade do agente degrada silenciosamente com o tempo. O recurso de recomendações analisa os rastreamentos de produção e os resultados de avaliação gerados pelo AgentCore para criar prompts de sistema e descrições de ferramentas otimizados e adaptados a workloads específicas. Em seguida, as avaliações em lote são usadas para validar as recomendações contra casos de teste predefinidos. Essas recomendações passam pela validação adicional de testes A/B controlados em relação a conjuntos de teste predefinidos ou ao tráfego de produção ao vivo, relatando a significância estatística antes da promoção de qualquer alteração. Cada recomendação exige aprovação antes de ser enviada. Juntos, esses recursos completam o ciclo de melhoria do desempenho dos agentes. Além de executar, os agentes são aprimorados conforme as especificações que você definiu.
Os recursos de otimização podem ser usados em todas as regiões da AWS que oferecem as avaliações do AgentCore. Para saber mais, consulte a documentação do AgentCore.