Anunciamos el agente de actualización de Apache Spark para Amazon EMR
AWS anuncia el agente de actualización Apache Spark, una nueva capacidad que acelera las actualizaciones de las versiones de Apache Spark para Amazon EMR en EC2 y EMR sin servidor. El agente convierte los procesos de actualización complejos que suelen tardar meses en proyectos que duran semanas mediante el análisis y la transformación automatizados del código. Las organizaciones invierten importantes recursos de ingeniería para analizar los cambios en las API, resolver conflictos y validar las aplicaciones durante las actualizaciones de Spark. El agente introduce interfaces conversacionales en las que los ingenieros expresan los requisitos de actualización en lenguaje natural y, al mismo tiempo, mantienen un control total sobre las modificaciones del código.
El agente de actualización de Apache Spark identifica automáticamente los cambios de API y las modificaciones de comportamiento en las aplicaciones PySpark y Scala. Los ingenieros pueden iniciar las actualizaciones directamente desde SageMaker Unified Studio, la CLI de Kiro o el IDE de su elección con la ayuda de la compatibilidad con MCP (Model Context Protocol). Durante el proceso de actualización, el agente analiza el código existente y sugiere cambios específicos, y los ingenieros pueden revisarlo y aprobarlo antes de la implementación. El agente valida la corrección funcional mediante validaciones de la calidad de los datos. Actualmente, el agente admite actualizaciones de Spark 2.4 a 3.5 y mantiene la precisión del procesamiento de datos durante todo el proceso de actualización.
El agente de actualización de Apache Spark ya está disponible en todas las regiones de AWS en las que esté disponible SageMaker Unified Studio. Para empezar a usar el agente, visite SageMaker Unified Studio y seleccione Espacios de IDE o instale la CLI de Kiro. Para obtener una guía de implementación detallada, documentación de referencia y ejemplos de migración, consulte la documentación.