¿Qué es Zero ETL?
Zero-ETL es un conjunto de integraciones que elimina o minimiza la necesidad de crear canalizaciones de datos ETL. Extracción, transformación y carga (ETL) es el proceso de combinar, limpiar y normalizar datos de diferentes fuentes para prepararlos para cargas de trabajo de análisis, inteligencia artificial (IA) y machine learning (ML). Los procesos ETL tradicionales consumen mucho tiempo y son complejos de desarrollar, mantener y escalar. En cambio, las integraciones sin ETL facilitan el movimiento de datos punto a punto sin necesidad de crear canalizaciones de datos ETL. Zero-ETL también permite realizar consultas en silos de datos sin necesidad de mover los datos.
¿Qué desafíos de ETL resuelve la integración sin ETL?
Las integraciones sin ETL resuelven muchos de los desafíos de movimiento de datos existentes en los procesos ETL tradicionales.
Mayor complejidad del sistema
Las canalizaciones de datos ETL añaden una capa adicional de complejidad a sus esfuerzos de integración de datos. El mapeo de datos para que coincidan con el esquema de destino deseado implica reglas de mapeo de datos complejas y requiere el manejo de inconsistencias y conflictos de datos. Debe implementar mecanismos eficaces de gestión de errores, registro y notificación para diagnosticar los problemas. Los requisitos de seguridad de los datos aumentan aún más las restricciones del sistema.
Costos adicionales
Las canalizaciones de ETL son caras al principio, pero los costos pueden aumentar a medida que aumenta el volumen de datos. Es posible que el almacenamiento de datos duplicado entre sistemas no sea asequible para grandes volúmenes de datos. Además, escalar los procesos de ETL a menudo requiere costosas actualizaciones de infraestructura, optimización del rendimiento de las consultas y técnicas de procesamiento en paralelo. Si los requisitos cambian, la ingeniería de datos debe monitorear y probar constantemente la canalización durante el proceso de actualización, lo que aumenta los costos de mantenimiento.
Retraso en el tiempo de análisis, IA y ML
Por lo general, ETL requiere que los ingenieros de datos creen código personalizado, así como que los ingenieros de DevOps implementen y administren la infraestructura necesaria para escalar la carga de trabajo. En caso de cambios en el origen de datos, los ingenieros de datos deben modificar manualmente su código y volver a implementarlo. El proceso puede llevar semanas y provocar retrasos en la ejecución de las cargas de trabajo de análisis, inteligencia artificial y machine learning. Además, el tiempo necesario para construir y desplegar canalizaciones de datos ETL hace que los datos no sean aptos para casos de uso casi en tiempo real, como la publicación de anuncios en línea, la detección de transacciones fraudulentas o el análisis de la cadena de suministro en tiempo real. En estos escenarios, se pierde la oportunidad de mejorar las experiencias de los clientes, abordar nuevas oportunidades comerciales o reducir los riesgos comerciales.
¿Cuáles son las ventajas de zero-ETL?
Zero-ETL ofrece varios beneficios a la estrategia de datos de una organización.
Mayor agilidad
Zero-ETL simplifica la arquitectura de datos y reduce los esfuerzos de ingeniería de datos. Permite incluir nuevos orígenes de datos sin necesidad de volver a procesar grandes cantidades de datos. Esta flexibilidad mejora la agilidad, apoya la toma de decisiones basada en datos y la innovación rápida.
Rentabilidad
Zero-ETL utiliza tecnologías de integración de datos que son escalables y nativas en la nube, lo que permite a las empresas optimizar los costos en función del uso real y las necesidades de procesamiento de datos. Las organizaciones reducen los costos de infraestructura, los esfuerzos de desarrollo y los gastos generales de mantenimiento.
Información en tiempo real
Los procesos ETL tradicionales suelen implicar actualizaciones periódicas por lotes, lo que provoca un retraso en la disponibilidad de los datos. Zero-ETL, por otro lado, proporciona acceso a los datos en tiempo real o casi real, lo que garantiza datos más actualizados para el análisis, la inteligencia artificial y el aprendizaje automático y la elaboración de informes. Obtiene información más precisa y oportuna para casos de uso como paneles de control en tiempo real, experiencia de juego optimizada, monitoreo de la calidad de los datos y análisis del comportamiento de los clientes. Las organizaciones hacen predicciones basadas en datos con más confianza, mejoran la experiencia de los clientes y promueven los conocimientos basados en datos en toda la empresa.
¿Cuáles son los diferentes casos de uso de zero-ETL?
Hay tres casos de uso principales para zero-ETL.
Consultas federadas
Las tecnologías de consulta federada ofrecen la posibilidad de consultar diversos orígenes de datos sin tener que preocuparse por el movimiento de datos. Puede utilizar comandos SQL conocidos para ejecutar consultas y unir datos de varias fuentes, como bases de datos operativas, almacenamiento de datos y lagos de datos. Las cuadrículas de datos en memoria (IMDG) almacenan datos en la memoria para almacenarlos en caché y procesarlos, de modo que pueda aprovechar los beneficios del análisis inmediato y los tiempos de respuesta a las consultas. A continuación, puede almacenar los resultados de la unión en un almacén de datos para su posterior análisis y uso.
Ingesta de streaming
Las plataformas de streaming de datos y colas de mensajes transmiten datos en tiempo real desde varias fuentes. Una integración sin ETL con un almacenamiento de datos le permite ingerir datos de varios de estos flujos y presentarlos para su análisis casi al instante. No es necesario almacenar los datos de streaming para su transformación en ningún otro servicio de almacenamiento.
Replicación instantánea
Tradicionalmente, mover datos de una base de datos transaccional a un almacenamiento de datos central siempre requería una solución ETL compleja. Hoy en día, zero-ETL puede actuar como una herramienta de replicación de datos, duplicando instantáneamente los datos de la base de datos transaccional al almacenamiento de datos. El mecanismo de duplicación utiliza técnicas de captura de datos cambiados (CDC) y puede estar integrado en el almacenamiento de datos. La duplicación es invisible para los usuarios: las aplicaciones almacenan datos en la base de datos transaccional y los analistas consultan los datos del almacén sin problemas.
¿Cómo puede AWS respaldar sus iniciativas Zero ETL?
AWS invierte en un futuro sin ETL. Estos son ejemplos de servicios que ofrecen soporte integrado para zero-ETL.
Amazon Athena es un servicio de análisis interactivo y sin servidor creado en marcos de código abierto, lo que lo hace compatible con formatos abiertos de archivos y tablas. Athena proporciona un método simplificado y flexible de analizar petabytes de datos donde residan. Puede analizar datos o crear aplicaciones a partir de un lago de datos de Amazon Simple Storage Service (S3) y más de 30 orígenes de datos, que incluyen orígenes de datos locales en las instalaciones u otros sistemas en la nube que usan SQL o Python. Athena se ha creado con motores Trino y Presto de código abierto y marcos de Apache Spark, sin necesidad de esfuerzos de aprovisionamiento ni configuración.
Amazon Redshift Streaming Ingestion ingiere cientos de megabytes de datos por segundo de Amazon Kinesis Data Streams o Amazon MSK. Defina un esquema o elija ingerir datos semiestructurados con el tipo de datos SUPER para consultar los datos en tiempo real.
La integración sin ETL de Amazon Aurora con Amazon Redshift permite el análisis y machine learning (ML) casi en tiempo real. Utiliza Amazon Redshift para cargas de trabajo de análisis en petabytes de datos transaccionales de Aurora. Es una solución totalmente gestionada para hacer que los datos transaccionales estén disponibles en Amazon Redshift después de escribirlos en un clúster de base de datos Aurora.
La copia automática de Amazon Redshift desde S3 simplifica y automatiza la ingesta de archivos en Amazon Redshift. Esta capacidad ingiere datos de forma continua en cuanto se crean nuevos archivos en S3, sin codificación personalizada ni actividades de ingesta manual.
El control de acceso para compartir datos con AWS Lake Formation gestiona de forma centralizada el acceso detallado a los datos compartidos en toda la organización. Puede definir, modificar y auditar los permisos en tablas, columnas y filas en Amazon Redshift.
Para comenzar a utilizar los procesos de zero ETL en AWS, ¡cree una cuenta gratuita hoy mismo!
Siguientes pasos en AWS
Obtenga acceso instantáneo al nivel Gratuito de AWS.
Comience a crear en la consola de administración de AWS.