Apache Spark-Agents für Fehlerbehebung und Upgrade sind jetzt als Kiro-Power verfügbar
Der Apache Spark-Troubleshooting- und Upgrade-Agent für Amazon EMR sind jetzt als Kiro-Power verfügbar, sodass Sie mit einem Klick direkt in Kiro auf KI-gestützte Spark-Abläufe zugreifen können. Mit diesen Funktionen können Dateningenieure die Zeit für die Fehlerbehebung von Stunden auf Minuten reduzieren und Spark-Versionen-Upgrades von Monaten auf Wochen komprimieren.
Wenn ein Spark-Job fehlschlägt, identifiziert das Troubleshooting-Power die Ursache, indem es Protokolle, Metriken und Konfigurationen in EMR auf EC2 und EMR Serverless analysiert und spezifische Code-Empfehlungen für PySpark-Anwendungen gibt. Das Upgrade-Power automatisiert Spark-Versionen-Upgrades wie etwa die Umstellung von EMR 6.5 auf EMR 7.12, indem die Codetransformation und die Auflösung von Abhängigkeiten durch Fernvalidierung und Datenqualitätsvergleich auf EMR durchgeführt werden. Beide Geräte stellen über MCP Proxy für AWS mit IAM-Rollen-Authentifizierung eine Verbindung zu Spark-Agents her. Alle Aktionen werden in AWS CloudTrail aufgezeichnet, um vollständige Überprüfbarkeit zu gewährleisten.
Die Apache Spark-Troubleshooting- und Upgrade-Power sind mit Amazon EMR in allen kommerziellen AWS-Regionen verfügbar. Installieren Sie zunächst den Troubleshooting Power oder Upgrade Power für Apache Spark von der Kiro-IDE aus. Weitere Informationen finden Sie in der Dokumentation zum Troubleshooting-Agent und zum Upgrade-Agent.