¿Qué es Apache Iceberg?

Un lago de datos es un repositorio centralizado que permite almacenar todos los datos estructurados y no estructurados a cualquier escala. Una transacción de datos es una serie de intercambios de datos que se llevan a cabo en una sola operación. Por ejemplo, cuando un cliente retira dinero de una cuenta bancaria, el banco realiza varios intercambios de datos al mismo tiempo en una transacción de datos, lo que incluye la verificación de que la cuenta tiene un saldo suficiente, la verificación de la identidad y el cargo de la retirada desde la cuenta. Un lago de datos transaccional es un tipo de lago de datos que no solo almacena datos a escala, sino que también admite operaciones transaccionales y garantiza que los datos sean precisos y coherentes, además de permitirle realizar un seguimiento de los cambios de los datos y su estructura a lo largo del tiempo. Estas propiedades se conocen conjuntamente como atomicidad, coherencia, aislamiento y durabilidad (ACID):

• La atomicidad garantiza que cada transacción sea un evento único que se realiza correctamente o fracasa por completo; no hay ningún estado intermedio. 
• La coherencia garantiza que todos los datos escritos sean válidos de acuerdo con las reglas definidas del lago de datos, lo que garantiza que los datos sean precisos y fiables. 
• El aislamiento garantiza que se puedan realizar varias transacciones al mismo tiempo sin interferir entre sí, lo que garantiza que cada transacción se ejecute de forma independiente.
• La durabilidad significa que los datos no se pierden ni se corrompen una vez que se envía una transacción. Los datos se pueden recuperar en caso de un fallo del sistema, como un corte de energía.

Apache Iceberg es adecuado para muchos casos de uso de lagos de datos, entre los que se incluyen:

• Tablas de datos en lagos de datos que requieren eliminaciones frecuentes, por ejemplo cuando se aplican leyes de privacidad de datos.
• Tablas de datos de un lago de datos que requieren actualizaciones a nivel de registro. Esto resulta útil cuando el conjunto de datos requiere actualizaciones frecuentes después de que los datos se asienten, por ejemplo cuando los datos de ventas pueden cambiar debido a eventos posteriores, como las devoluciones realizadas por los clientes. Iceberg ofrece capacidades para actualizar registros individuales sin necesidad de volver a publicar todo el conjunto de datos.
• Tablas de datos en lagos de datos que tienen cambios impredecibles, como las tablas de dimensiones que cambian lentamente (SCD). Un ejemplo de SCD es una tabla de registro de clientes que incluye el nombre, la ubicación y la información de contacto, que pueden cambiar con el tiempo a intervalos desconocidos.
• Cuando las transacciones con el lago de datos requieren una validez, durabilidad y fiabilidad de los datos garantizadas, se pueden implementar formatos de tabla de Apache Iceberg para garantizar las transacciones de ACID.
• Cuando sea necesario retroceder en el tiempo para consultar versiones de histórico de los datos a fin de realizar análisis de tendencias, analizar los cambios en los datos durante un período de tiempo o restaurar o revertir a una versión anterior para corregir problemas.

Apache Iceberg ofrece una forma rápida y eficiente de procesar grandes conjuntos de datos a escala. Aporta los siguientes beneficios:

1. Código abierto: Apache Iceberg es un proyecto de código abierto, lo que significa que es de uso gratuito y se puede personalizar para satisfacer sus necesidades específicas. También cuenta con una comunidad activa de desarrolladores que mejoran y agregan continuamente nuevas características al proyecto. 
2. Escalabilidad: Apache Iceberg está diseñado para gestionar grandes conjuntos de datos de forma eficiente. Puede dividir y organizar los datos en varios nodos, lo que ayuda a distribuir la carga de trabajo y acelerar el procesamiento de datos. 
3. Rendimiento: Apache Iceberg cuenta con diversas características para optimizar el rendimiento de las consultas, que incluyen técnicas de almacenamiento y compresión en columnas, como la reducción de predicados y la evolución de esquemas. 
4. Flexibilidad: Apache Iceberg le permite cambiar la forma en que se organizan los datos para que puedan evolucionar con el tiempo sin necesidad de reescribir las consultas ni reconstruir las estructuras de datos. También admite varios formatos de datos y orígenes de datos, lo que facilita la integración con los sistemas existentes. 
5. Fiabilidad: Apache Iceberg garantiza la coherencia y fiabilidad de los datos mediante su soporte para transacciones. Puede realizar un seguimiento de los cambios de los datos a lo largo del tiempo y volver a las versiones de histórico para ayudarlo a solucionar problemas.