Amazon CloudWatch introduce l'osservabilità per l'IA generativa (anteprima)
Amazon CloudWatch ora contribuisce a offrire una visione complessiva delle applicazioni e dei carichi di lavoro di IA generativa, inclusi gli agenti implementati e gestiti con Amazon Bedrock AgentCore (anteprima), fornendo informazioni su prestazioni, integrità e precisione dell'IA. La panoramica immediata su latenza, utilizzo ed errori dei carichi di lavoro di IA consente di individuare più rapidamente eventuali problemi in componenti come invocazioni di modelli e agenti. È anche possibile rilevare più velocemente i problemi grazie al tracciamento end-to-end dei prompt nei componenti quali knowledge base, strumenti e modelli. Questa funzionalità è compatibile con i più diffusi framework di orchestrazione di IA generativa, come Strands Agents, LangChain e LangGraph, offrendo flessibilità nella scelta dell'ambiente di sviluppo.
Questa nuova funzionalità consente ad Amazon CloudWatch di analizzare i dati telemetrici generati dai componenti delle applicazioni di IA generativa, aiutando a individuare rapidamente la causa degli errori. Ad esempio, è possibile individuare l'origine delle risposte imprecise, derivanti da lacune nel VectorDB o da tentativi di recupero incompleti del sistema RAG, utilizzando il tracciamento end-to-end dei prompt, metriche e log selezionati. Questa visione integrata delle interazioni tra componenti aiuta gli sviluppatori a ottimizzare più rapidamente i carichi di lavoro, garantendo livelli elevati di disponibilità, precisione, affidabilità e qualità. Gli sviluppatori possono mantenere operativi gli agenti IA monitorando e valutando l'intero parco da un'unica interfaccia. La vista dedicata per gli agenti è disponibile nella scheda "AgentCore" della console CloudWatch per l'osservabilità delle soluzioni di IA generativa. L'osservabilità dell'IA generativa è integrata con altre funzionalità di CloudWatch come Application Signals, Allarmi, Dashboard, Protezione dei dati sensibili e Approfondimenti di Logs, contribuendo a estendere facilmente gli strumenti di osservabilità esistenti per monitorare i carichi di lavoro di IA generativa.
Questa funzionalità è disponibile in anteprima in quattro regioni AWS: Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), Europa (Francoforte) e Asia Pacifico (Sydney). Per maggiori informazioni, consulta la documentazione. Per i dati telemetrici raccolti e archiviati, si applicano le tariffe previste da CloudWatch.