Amazon Bedrock AgentCore представляет новые возможности оптимизации для постоянного улучшения работы агентов в производственной среде
Сегодня AWS анонсирует новые возможности оптимизации в AgentCore, которые использует реальные рабочие данные для непрерывной оптимизации агентов. Самые опасные сбои агентов – это не те, которые вызывают ошибки. Это тихие сбои, которые выглядят нормальными на панелях мониторинга. Эти сбои не дают сигнала об ошибке и часто выявляются в жалобах клиентов спустя несколько недель. AgentCore устраняет этот пробел, пытаясь понять, что делают агенты, создавать исправления на основе данных и доказывать, что они работают.
Чтобы понять поведение агентов, AgentCore выявляет и анализирует ошибки, намерения и траектории в сотнях сеансов, выявляя закономерности, которые не удалось бы выявить ни на панели мониторинга, ни при индивидуальном отслеживании. Аналитика сбоев позволяет выявлять повторяющиеся модели сбоев, в том числе скрытые поведенческие сбои, объяснять первопричины каждого из них и ранжировать их по распространенности, чтобы команды могли первыми решить проблемы, от которых страдает большинство пользователей. Аналитика намерений группирует запросы по тому, что пытались сделать пользователи, а аналитика траекторий группирует пути, по которым агенты решают задачу, выявляя общие закономерности и отклонения. Клиенты могут включить непрерывный мониторинг или провести целевое расследование за считаные минуты. Чтобы с уверенностью устранять проблемы, рекомендации анализируют результаты отслеживания и оценки, чтобы предложить конкретные улучшения системных текстовых запросов и описаний инструментов, основанные на фактическом поведении агента. Каждая рекомендация содержит четкое обоснование выявленных неисправностей и готова к проверке. Это не общее предложение, а целенаправленное изменение, основанное на производственных данных. Прежде чем изменения дойдут до пользователей, пакетная оценка проверяет рекомендации на основе определенного набора тестовых данных и публикует сводные баллы нескольких оценщиков, выявляя регрессии на ранней стадии. Клиенты определяют, что значит «хорошо», а пакетная оценка измеряет каждое изменение кандидата по этой шкале в нужном масштабе. Затем альфа и бета-тестирование подтверждает, что улучшения сохраняются в реальных условиях. Проводится контролируемое сравнение версий агентов путем разделения производственного трафика в реальном времени и параллельного измерения результатов. Это дает статистические данные о том, что изменение действительно влияет на производственную среду, а не только на тестовые данные, прежде чем клиенты решат внедрить его по всему парку. Эти возможности работают независимо от того, где работают агенты: в Среде выполнения AgentCore, AWS Lambda, Amazon EKS или в средах, отличных от AWS.
Предварительная версия Аналитики сбоев, намерений и траекторий уже сегодня доступна в 13 регионах AWS. Пакетные оценки, рекомендации и A/B-тесты сегодня общедоступны в 14 регионах AWS. Чтобы узнать больше, посетите страницу Amazon Bedrock AgentCore или изучите документацию.