Publicado en: Jun 8, 2023
Amazon Athena para Apache Spark ahora es compatible con los marcos de almacenamiento de lagos de datos de código abierto: Apache Hudi 0.13, Apache Iceberg 1.2.1 y Linux Foundation Delta Lake 2.0.2. Estos marcos simplifican el procesamiento incremental de grandes conjuntos de datos mediante transacciones con características de atomicidad, consistencia, aislamiento, durabilidad (ACID) y facilitan su almacenamiento y procesamiento en los lagos de datos.
Amazon Athena para Apache Spark es una característica de Amazon Athena que le permite ejecutar análisis interactivos en Apache Spark en menos de un segundo para analizar petabytes de datos. A medida que aumenta el tamaño de los lagos de datos, puede resultar difícil agregar datos incrementales y mantener la coherencia de estos desde el punto de vista de las transacciones para todos los usuarios de los datos. Estos marcos simplifican el procesamiento incremental de datos en los lagos de datos de S3 usando transacciones con características ACID, actualizaciones o inserciones para crear archivos coherentes desde el punto de vista transaccional. Con el lanzamiento de hoy, los ingenieros de datos ahora pueden crear y gestionar las tablas de los lagos de datos de manera eficiente con características como la evolución de esquemas. La evolución de esquemas facilita la adaptación de los datos a los cambios de la empresa, ya que permite modificar la estructura de los datos de las tablas existentes sin necesidad de volver a escribir los datos en ellas para adaptarlos a la nueva estructura.
La compatibilidad con Apache Iceberg, Apache Hudi y Delta Lake está disponible en 9 regiones de AWS donde Amazon Athena para Apache Spark está disponible: Este de EE. UU. (Ohio), Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Europa (Irlanda), Europa (Fráncfort), Asia-Pacífico (Tokio), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney) y Asia-Pacífico (Bombay). Para obtener más información y comenzar, visite la página web de Amazon Athena para Apache Spark.