Amazon CloudWatch fügt generative KI-Beobachtbarkeit hinzu (Vorabversion)
Amazon CloudWatch hilft Ihnen jetzt dabei, generative-KI-Anwendungen und -Workloads zu beobachten, einschließlich Agenten, die mit Amazon Bedrock AgentCore (Vorabversion) bereitgestellt und betrieben werden, und bietet Einblicke in die Leistung, den Zustand und die Genauigkeit der KI. Sie erhalten einen sofort einsatzbereiten Überblick über Latenz, Nutzung und Fehler Ihrer KI-Workloads, um Probleme in Komponenten wie Modellaufrufen und Agenten schneller zu erkennen. Sie können mit End-to-End-Prompt-Tracing von Komponenten wie Wissensdatenbanken, Tools und Modellen Probleme auch schneller finden. Dieses Feature ist mit gängigen generativen KI-Orchestrierungs-Frameworks wie Strands Agents, LangChain und LangGraph kompatibel und bietet Flexibilität bei der Wahl des Frameworks.
Mit diesem neuen Feature analysiert Amazon CloudWatch Telemetriedaten über Komponenten einer generativen KI-Anwendung hinweg und hilft so, die Fehlerquelle schnell zu identifizieren. Beispielsweise können Sie mithilfe von End-to-End-Prompt-Tracing, kuratierten Metriken und Protokollen die Quelle ungenauer Antworten lokalisieren – sei es durch Lücken in Ihrer VectorDB oder unvollständige RAG-Systemabrufe. Diese vernetzte Ansicht der Komponenteninteraktionen hilft Entwicklern, Workloads schneller zu optimieren, um ein hohes Maß an Verfügbarkeit, Genauigkeit, Zuverlässigkeit und Qualität zu erreichen. Entwickler können dafür sorgen, dass KI-Agenten reibungslos funktionieren, indem sie die Agentenflotte an einem Ort überwachen und bewerten. Die von Agenten kuratierte Ansicht ist auf der Registerkarte „AgentCore“ in der CloudWatch-Konsole für GenAI-Beobachtbarkeit verfügbar. Generative KI-Beobachtbarkeit ist in andere CloudWatch-Funktionen wie Anwendungssignale, Alarme, Dashboards, Schutz sensibler Daten und Protokoll-Insights integriert, sodass Sie bestehende Beobachtbarkeits-Tools nahtlos erweitern können, um generative KI-Workloads zu überwachen.
Dieses Feature ist in der Vorabversion in 4 Regionen verfügbar: USA Ost (Nord-Virginia), USA West (Oregon), Europa (Frankfurt) und Asien-Pazifik (Sydney). Weitere Informationen entnehmen Sie bitte der Dokumentation. Die CloudWatch-Preise gelten für gesammelte und gespeicherte Telemetriedaten.