Los agentes de solución de problemas y actualización de Apache Spark ahora están disponibles como capacidades de Kiro
El agente de solución de problemas y el agente de actualización de Apache Spark para Amazon EMR ya están disponibles como capacidades de Kiro, lo que permite acceder con un solo clic a las operaciones de Spark asistidas por IA directamente en Kiro. Con estas capacidades, los ingenieros de datos pueden disminuir el tiempo de resolución de problemas de horas a minutos y reducir las actualizaciones de las versiones de Spark de meses a semanas.
Cuando un trabajo de Spark falla, la capacidad de resolución de problemas identifica la causa raíz mediante el análisis de los registros, las métricas y las configuraciones en EMR en EC2 y EMR sin servidor, y proporciona recomendaciones de código específicas para las aplicaciones de PySpark. La capacidad de actualización automatiza las actualizaciones de las versiones de Spark, como el paso de EMR 6.5 a EMR 7.12, al gestionar la transformación del código y la resolución de dependencias mediante la validación remota y la comparación de la calidad de los datos en EMR. Ambas capacidades se conectan a los agentes de Spark a través de MCP Proxy para AWS con autenticación basada en roles de IAM, y todas las acciones se registran en AWS CloudTrail para ofrecer una auditabilidad total.
Las capacidades de solución de problemas y actualización de Apache Spark están disponibles con Amazon EMR en todas las regiones comerciales de AWS. Para empezar, instale las capacidades de resolución de problemas de Apache Spark o la capacidad de actualización del entorno de desarrollo integrado (IDE) de Kiro. Para obtener más información, consulte la documentación del agente de solución de problemas y del agente de actualización.