Amazon EMR su EKS supporta ora l'agente per la risoluzione dei problemi di Apache Spark
Amazon EMR su EKS supporta ora l'agente per la risoluzione dei problemi di Apache Spark. I data engineer possono ora diagnosticare gli errori dei job di EMR su EKS tramite il linguaggio naturale, ricevendo analisi automatiche delle cause principali e consigli sul codice PySpark senza dover esaminare manualmente i log distribuiti e i dati di Spark History Server.
L'agente analizza i dati di Spark History Server, i log degli esecutori distribuiti e le configurazioni dei cluster per identificare problemi quali errori di memoria, sbilanciamento dei dati (data skew), conflitti di risorse e guasti di connettività. Con questo lancio, l'agente per la ricevuta risoluzione dei problemi di Spark copre ora tutte le opzioni di implementazione di EMR: EMR su EC2, EMR serverless ed EMR su EKS. L'agente è accessibile direttamente dalla console di EMR su EKS tramite l'opzione "Risoluzione dei problemi con l'IA" nei job non riusciti. Inoltre, l'agente è disponibile tramite MCP (Model Context Protocol) utilizzando qualsiasi agente IA per la codifica compatibile, tra cui Kiro, Claude Code e Cursor. Tutte le operazioni sono di sola lettura, autenticate con ruoli IAM e registrate in AWS CloudTrail.
L'agente per la risoluzione dei problemi di Spark per Amazon EMR su EKS è disponibile in tutte le regioni AWS in cui è disponibile SageMaker Unified Studio. Per iniziare, vai alla console di EMR su EKS o configura il server MCP nell’agente IA per la codifica preferito. Per una guida dettagliata, consulta la documentazione dell'agente per la risoluzione dei problemi di EMR.