Publicado en: Nov 21, 2022
En el día de hoy, Amazon EMR anunció la compatibilidad para las consultas de SQL de larga duración y tolerantes a errores en el motor Trino (Proyecto Tardigrade) con puntos de control en Amazon S3 o HDFS para la tolerancia a errores. El proyecto Tardigrade tiene como objetivo mejorar la experiencia del usuario en las consultas de larga duración y de uso intensivo de recursos en Trino, cuando se utiliza para cargas de trabajo de estilo ETL. El proyecto Tardigrade usa Amazon S3 para el punto de control de los datos intermedios almacenados en el búfer. Con la versión 6.9 de Amazon EMR, también incorporamos puntos de control en HDFS para cargas de trabajo SQL sensibles al rendimiento y de larga duración.
Las cargas de trabajo ETL de larga duración pueden ser difíciles de ejecutar de forma confiable y rentable en Trino. Esto se debe a que reiniciar las consultas fallidas desde cero desperdiciaría recursos del clúster y la falta de capacidad de consulta iterativa podría costar más en clústeres grandes. El proyecto Tardigrade presentó un nuevo mecanismo de ejecución tolerante a errores que permite a los clústeres de Trino mitigar los fallos de consulta reintentándolos mediante los datos de intercambio intermedios que se recogen en S3. El equipo de Amazon EMR extendió esta capacidad a los puntos de control en HDFS para mejorar aún más el rendimiento de estas consultas de Trino. Gracias a la compatibilidad con las consultas de larga duración tolerantes a errores, los usuarios de Amazon EMR ahora pueden ejecutar flujos de trabajo ETL de forma confiable, al tiempo que se benefician del rendimiento y el ahorro de costos gracias a las ejecuciones de tareas iterativas. Puede habilitar la tolerancia a errores en los clústeres de Amazon EMR Trino mediante la clasificación de la configuración de Trino en la consola de Amazon EMR, la CLI o mediante la API.
Puede utilizar esta capacidad en todas las regiones donde Amazon EMR Trino está disponible. Para obtener más información sobre esta característica, consulte nuestra documentación.