Amazon Redshift ahora admite Just-In-Time (JIT) ANALYZE para tablas Apache Iceberg
Amazon Redshift anuncia hoy la disponibilidad general de la capacidad Just-In-Time (JIT) ANALYZE para las tablas de Apache Iceberg, que permite a los usuarios ejecutar consultas de análisis de lectura y escritura de alto rendimiento en tablas de Apache Iceberg dentro del lago de datos de Redshift. Muchos clientes han utilizado el formato de tabla abierta de Apache Iceberg para simplificar el procesamiento de datos en tablas en rápida expansión y evolución almacenadas en lagos de datos.
A diferencia de los almacenes de datos tradicionales, los lagos de datos suelen carecer de estadísticas exhaustivas de las tablas y columnas sobre los datos subyacentes, lo que dificulta que los motores de consultas elijan los planes más óptimos de ejecución de consultas sin tener visibilidad de las estadísticas de tablas y columnas. Los planes de ejecución de consultas que no sean óptimos pueden provocar un rendimiento más lento y menos predecible.
“JIT ANALYZE” es una nueva característica de Amazon Redshift que recopila y utiliza automáticamente las estadísticas de las tablas Iceberg durante la ejecución de consultas. Esto evita la recopilación manual de estadísticas y proporciona al motor de consultas la información necesaria para generar planes de ejecución óptimos. El sistema utiliza heurísticas inteligentes para identificar las consultas que se beneficiarán de las estadísticas, mantiene estructuras de datos de croquis ligeras y crea estadísticas de alta calidad a nivel de tabla y columna. JIT ANALYZE ofrece un rendimiento listo para usar a la par con las consultas que tienen estadísticas precalculadas, a la vez que proporciona la base para muchas otras optimizaciones de rendimiento.
La característica JIT ANALYZE de Amazon Redshift para tablas de Apache Iceberg ya está disponible en todas las regiones de AWS en las que Amazon Redshift está disponible. Los usuarios no necesitan realizar ningún cambio ni habilitar ninguna configuración para aprovechar esta nueva optimización de consultas en el lago de datos. Para empezar, visite la página de la documentación de la Guía de administración de Amazon Redshift.