Veröffentlicht am: Nov 21, 2022
Heute gab Amazon EMR Unterstützung für lang laufende, fehlertolerante SQL-Abfragen in der Trino-Engine (Project Tardigrade) mit Prüfpunkten in Amazon S3 oder HDFS zur Fehlertoleranz bekannt. Project Tardigrade soll die Benutzererfahrung bei lang laufenden, ressourcenintensiven Abfragen in Trino verbessern, wenn sie für Workloads im ETL-Stil verwendet werden. Project Tardigrade verwendet Amazon S3, um gepufferte Zwischendaten zu prüfen. Mit dem Release von Amazon EMR 6.9 fügen wir für leistungsempfindliche und lang laufende SQL-Workloads zudem Prüfpunkte in HDFS hinzu.
Es kann schwierig sein, lang laufende ETL-Workloads in Trino zuverlässig und kosteneffizient auszuführen. Das liegt daran, dass der Neustart von fehlgeschlagenen Abfragen Cluster-Ressourcen verbrauchen würde und die fehlende iterative Abfragefähigkeit bei großen Clustern teurer sein könnte. Project Tardigrade führte einen neuen fehlertoleranten Ausführungsmechanismus ein, mit dem Trino-Cluster fehlgeschlagene Abfragen beheben können, indem in S3 gesammelte Zwischendaten verwendet werden. Das Amazon-EMR-Team erweiterte diese Funktion auf einen Prüfpunkt in HDFS, um die Leistung dieser Trino-Abfragen weiter zu verbessern. Durch die Unterstützung für fehlertolerante lang laufende Abfragen können Amazon-EMR-Benutzer jetzt zuverlässig ETL-Workloads ausführen und gleichzeitig aufgrund der iterativen Aufgabenausführungen von einer besseren Leistung und Kosteneinsparungen profitieren. Sie können Fehlertoleranz in Amazon-EMR-Trino-Clustern über die Trino-Konfigurationseinstellung in der Amazon-EMR-Konsole, der CLI oder über die API aktivieren.
Sie können diese Funktion in allen Regionen nutzen, in denen Amazon EMR Trino verfügbar ist. Um mehr über diese Funktion zu erfahren, lesen Sie die Dokumentation.