Cómo funciona: arquitectura de datos moderna

Por qué necesita una arquitectura de datos moderna

Los volúmenes de datos aumentan a un ritmo sin precedentes, de terabytes a petabytes y a veces a exabytes. Los enfoques tradicionales de análisis de datos en las instalaciones no pueden gestionar estos volúmenes de datos porque no son lo suficientemente escalables y resultan demasiado caros. Varias empresas se encuentran en el proceso de recopilar todos sus datos a partir de diversos silos para agruparlos en un solo lugar, que muchos denominan lago de datos, para realizar análisis y ML directamente sobre esos datos. En otras ocasiones, estas mismas empresas almacenan otros datos en almacenes de datos creados para fines específicos y así poder analizar y obtener rápidamente información a partir de datos estructurados y no estructurados. Este traslado de datos puede ser “desde el interior hacia el exterior”, “desde el exterior hacia el interior”, “alrededor del perímetro” o “uso compartido” porque los datos tienen gravedad.

  • Desde el interior hacia el exterior
  • Traslado de datos desde el interior hacia el exterior

    Los clientes almacenan los datos en un lago de datos y luego trasladan una parte de esos datos a un almacén de datos creado para fines específicos en el que se realizan actividades adicionales de machine learning o análisis.

    Ejemplo: los datos de secuencias de clics de las aplicaciones web se pueden recopilar directamente en un lago de datos, y una parte de esos datos se puede trasladar a un almacenamiento de datos para la elaboración de informes diarios. Denominamos a este concepto como traslado de datos desde el interior hacia el exterior.

    Traslado de datos desde el interior hacia el exterior
  • Desde el exterior hacia el interior
  • Traslado de datos desde el exterior hacia el interior

    Los clientes almacenan los datos en almacenes de datos creados para fines específicos, como un almacenamiento de datos o una base de datos, y trasladan esos datos a un lago de datos para realizar análisis sobre ellos. 

    Ejemplo: copian en su lago de datos los resultados de las consultas sobre las ventas de productos en una región determinada a partir de un almacenamiento de datos para ejecutar algoritmos de recomendación de productos en un conjunto de datos más amplio mediante ML.

    Traslado de datos desde el exterior hacia el interior
  • Alrededor del perímetro
  • Traslado de datos alrededor del perímetro

    Integre sin problemas el lago de datos, el almacenamiento de datos y los almacenes de datos creados para fines específicos. 

    Ejemplo: pueden copiar en el servicio de búsqueda los datos del catálogo de productos almacenados en su base de datos para facilitar la búsqueda en su catálogo de productos y aliviar las consultas de búsqueda de la base de datos.

    Traslado de datos desde el exterior hacia el interior
  • Uso compartido
  • Traslado de datos de uso compartido

    Los clientes utilizan una arquitectura de datos moderna para facilitar la gobernanza y el uso compartido de datos dentro de fronteras de gobernanza lógicas o físicas para crear dominios de datos en consonancia con las líneas de negocio

    Traslado de datos de uso compartido
  • Gravedad de los datos
  • Gravedad de los datos

    A medida que los datos en estos lagos de datos y almacenes creados para fines específicos crecen, se hace más difícil trasladar todos estos datos porque los datos tienen gravedad. Es igualmente importante garantizar que los datos puedan llegar fácilmente a donde se necesitan, con los controles adecuados, para permitir el análisis y la obtención de información.

    Gravedad de los datos

Pilares de la arquitectura de datos moderna

Las organizaciones se encuentran en el proceso de recopilar los datos a partir de varios silos para agruparlos en un solo lugar y realizar actividades de análisis y machine learning sobre esos datos. Para obtener el máximo valor, es preciso aprovechar una arquitectura de datos moderna que permita trasladar los datos entre los lagos y los almacenes de datos creados para fines específicos con facilidad. Esta forma moderna de arquitectura requiere lo siguiente: