Ankündigung generativer KI-Upgrades für Apache Spark in AWS Glue (Vorschauversion)
AWS Glue kündigt generative KI-Upgrades für Apache Spark an, eine neue generative KI-Funktion, anhand der Datenspezialisten ihre bestehenden Spark-Jobs schnell upgraden und modernisieren können. Dieses von Amazon Bedrock betriebene Feature automatisiert Analyse und Update von Spark-Skripten und -Konfigurationen und verkürzt somit Zeit- und Arbeitsaufwand für Spark-Upgrades von Wochen auf Minuten.
AWS Glue ist ein serverloser, skalierbarer, Datenintegrations-Service, der das Auffinden, Aufbereiten und Kombinieren von Daten für Analysen, Machine Learning und Anwendungsentwicklung vereinfacht. Mit Spark-Upgrades können Sie automatische Upgrades mit einem einzigen Klick in der AWS Glue-Konsole initiieren, um Ihre Spark-Jobs von einer älteren Version auf AWS Glue Version 4.0 zu modernisieren. Dieses Feature analysiert Ihre Python-basierten Spark-Jobs und generiert Upgrade-Pläne, in denen Code- und Konfigurationsänderungen detailliert beschrieben werden. Es nutzt generative KI, um den aktualisierten Code iterativ zu verbessern und zu validieren, indem es Testläufe als Glue-Jobs ausführt. Nachdem die Validierung erfolgreich abgeschlossen wurde, bekommen Sie eine ausführliche Zusammenfassung aller Änderungen zur Prüfung, sodass eine zuverlässige Bereitstellung Ihre aktualisierten Spark-Jobs möglich ist. Dieser automatisierte Ansatz reduziert die Komplexität der Spark-Upgrades, während gleichzeitig die Zuverlässigkeit Ihrer Datenpipelines gewährleistet bleibt.
Die generativen KI-Upgrades für die Vorschauversion von Apache Spark sind für AWS Glue in den folgenden AWS-Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Tokio) und Asien-Pazifik (Sydney). Für weitere Informationen besuchen Sie bitte die Webseite von AWS Glue, lesen Sie den Blogbeitrag zur Einführung oder die Dokumentation.