Ankündigung des Apache Spark-Upgrade-Agenten für Amazon EMR
AWS kündigt den Apache Spark Upgrade-Agent an, eine neue Funktion, die Apache Spark-Versionsupgrades für Amazon EMR auf EC2 und EMR Serverless beschleunigt. Der Agent wandelt komplexe Upgrade-Prozesse, die in der Regel Monate dauern, durch automatisierte Code-Analyse und -Transformation in Projekte um, die sich über Wochen erstrecken. Unternehmen investieren erhebliche technische Ressourcen in die Analyse von API-Änderungen, die Behebung von Konflikten und die Validierung von Anwendungen während Spark-Upgrades. Der Agent führt dialogorientierte Schnittstellen ein, über die Ingenieure Upgrade-Anforderungen in natürlicher Sprache formulieren können, während sie die vollständige Kontrolle über Code-Änderungen behalten.
Der Apache Spark-Upgrade-Agent identifiziert automatisch API-Änderungen und Verhaltensänderungen in PySpark- und Scala-Anwendungen. Ingenieure können Upgrades mithilfe der MCP-Kompatibilität (Model Context Protocol) direkt aus SageMaker Unified Studio, Kiro CLI oder der IDE ihrer Wahl initiieren. Während des Upgrade-Prozesses analysiert der Agent den vorhandenen Code und schlägt spezifische Änderungen vor, die Ingenieure vor der Implementierung überprüfen und genehmigen können. Der Agent überprüft die funktionale Korrektheit durch Datenqualitätsvalidierungen. Der Agent unterstützt derzeit Upgrades von Spark 2.4 auf 3.5 und gewährleistet während des gesamten Upgrade-Prozesses die Genauigkeit der Datenverarbeitung.
Der Apache Spark-Upgrade-Agent ist jetzt in allen AWS-Regionen verfügbar, in denen SageMaker Unified Studio verfügbar ist. Um mit der Verwendung des Agenten zu beginnen, besuchen Sie SageMaker Unified Studio und wählen Sie IDE Spaces aus oder installieren Sie die Kiro-CLI. Eine ausführliche Anleitung zur Implementierung, Referenzdokumentation und Migrationsbeispiele finden Sie in der Dokumentation.