Arquitectura de datos moderna de Amazon Redshift
La cantidad de datos que se generan en IoT, los dispositivos inteligentes, las aplicaciones en la nube y las redes sociales está creciendo de manera exponencial. Se necesitan formas de analizar todos estos datos de forma fácil y rentable con un tiempo mínimo para obtener la información, independientemente de su formato o de dónde se almacenen.
Amazon Redshift usa la arquitectura de datos moderna, que le permite consultar los datos de su almacenamiento de datos, lago de datos y bases de datos operativas para obtener información de la forma más rápida y detallada posible. Con la arquitectura de datos moderna, puede almacenar los datos en formatos de archivos abiertos en el lago de datos de Amazon S3. Así, los datos pueden ponerse a disposición de otras herramientas de análisis y machine learning de forma fácil, en lugar de encerrarlos en un nuevo silo.
Con una arquitectura de datos moderna de Amazon Redshift, puede hacer lo siguiente:
- Consultar con facilidad los datos del lago de datos y escribir datos en él en formatos abiertos.
- Usar enunciados SQL conocidos para combinar y procesar los datos en todos los almacenes de datos.
- Ejecutar consultas en datos en tiempo real en bases de datos operativas sin necesidad de cargar datos ni utilizar canalizaciones ETL.
Características
La arquitectura de datos moderna de Amazon Redshift cuenta con la tecnología de las capacidades que se indican a continuación:
Amazon Redshift Spectrum
Consulte datos con formato abierto directamente en el lago de datos de Amazon S3, sin necesidad de cargarlos ni de duplicar su infraestructura. Con la característica Amazon Redshift Spectrum, puede consultar formatos de archivo abiertos, como Apache Parquet, ORC, JSON, Avro y CSV. Para empezar, siga este tutorial paso a paso.
Exportación a lago de datos
Guarde los resultados de una consulta de Amazon Redshift directamente en el lago de datos de S3 en un formato de archivo abierto (Apache Parquet) mediante la exportación a lago de datos. Después, puede analizar estos datos mediante la característica Amazon Redshift Spectrum y otros servicios de AWS, como SageMaker para las actividades de machine learning y EMR para las operaciones de ETL. Para empezar, vea este vídeo de cinco minutos.
Consulta federada
Con la consulta federada, Amazon Redshift puede consultar los datos directamente en los almacenes de Amazon RDS y Aurora PostgreSQL. Esto le permite incorporar datos operativos precisos y actualizados a sus aplicaciones de generación de informes y de inteligencia empresarial (BI), sin ninguna operación de ETL. Para empezar, vea este vídeo de cinco minutos o lea este tutorial.
“Usamos numerosas herramientas de análisis, tanto de AWS como de terceros, y nos complace ver que Amazon Redshift sigue aplicando los mismos patrones de transformación de datos variados que incluimos en nuestra solución propia. Llevamos sacando partido de la capacidad de consulta de Amazon Redshift para formatos de datos abiertos en nuestro lago de datos con Redshift Spectrum desde 2017 y ahora, la nueva característica de exportación a lago de datos de Redshift, nos permite escribir información en nuestro lago de datos sin ningún problema. Todo ello con un rendimiento coherente y rápido, incluso en las cargas de consulta más elevadas. Esperamos poder aprovechar la potencia de una pila de macrodatos integrada para impulsar aún más el uso compartido de los datos entre los clústeres de Amazon Redshift y obtener más valor de todos nuestros videojuegos a un costo más bajo”.
Kurt Larson, director técnico de operaciones de marketing de análisis, Warner Bros. Analytics
Recursos
ETL and ELT design patterns for modern data architecture using Amazon Redshift: Part 1
Cree patrones de diseño ELT y ETL escalables para una arquitectura de datos moderna con Amazon Redshift: parte 1.
Getting started with Amazon Redshift Spectrum
Tutorial paso a paso para comenzar a usar Amazon Redshift Spectrum.
How to scale data analytics with Amazon Redshift
Descubra cómo la empresa de entretenimiento Warner Bros usa Amazon Redshift para escalar sus cargas de trabajo de análisis de datos.
Regístrese para abrir una cuenta de AWS y obtenga acceso instantáneo a la capa gratuita de AWS.
Adquiera experiencia práctica y gratuita con la plataforma, los productos y los servicios de AWS.
Migre sus bases de datos de forma rápida y segura con AWS Database Migration Service.