Arquitectura de lake house de Amazon Redshift

Consulte todos los datos en formatos de archivos abiertos, sin necesidad de cargarlos.

La cantidad de datos que se generan en IoT, los dispositivos inteligentes, las aplicaciones en la nube y las redes sociales está creciendo de manera exponencial. Se necesitan formas de analizar todos estos datos de forma fácil y rentable con un tiempo mínimo para obtener la información, independientemente del formato de estos o de dónde se almacenen.

Amazon Redshift usa la arquitectura de lake house, que le permite consultar los datos de su almacenamiento de datos, lago de datos y bases de datos operativas para obtener información de la forma más rápida y detallada posible. Con la arquitectura de lake house, puede almacenar los datos en formatos de archivos abiertos en el lago de datos de Amazon S3. Así, los datos pueden ponerse a disposición de otras herramientas de análisis y machine learning de forma fácil, en lugar de encerrarlos en un nuevo silo.

La arquitectura de lake house de Amazon Redshift le permite:

  • Consultar datos del lago de datos y escribir datos en este en formatos abiertos de forma fácil.
  • Usar instrucciones SQL conocidas para combinar y procesar los datos en todos sus almacenes de datos.
  • Consultar datos en directo de las bases de datos operativas, sin necesidad de cargar los datos ni de usar canalizaciones ETL.

2019 re:Invent ponencia: Arquitectura de lake house de Amazon Redshift (1:23)

Características

La arquitectura de lake house de Amazon Redshift cuenta con las capacidades siguientes:

Amazon Redshift Spectrum

Consulte datos con formato abierto directamente en el lago de datos de Amazon S3, sin necesidad de cargarlos ni de duplicar su infraestructura. Con la característica Amazon Redshift Spectrum, puede consultar formatos de archivos abiertos, como Apache Parquet, ORC, JSON, Avro y CSV. Siga este tutorial paso a paso para comenzar.

Exportación a lago de datos

Guarde los resultados de una consulta de Amazon Redshift directamente en el lago de datos de S3 en formato de archivo abierto (Apache Parquet) mediante la exportación a lago de datos. Después, podrá analizar estos datos mediante la característica Amazon Redshift Spectrum y otros servicios de AWS, como Sagemaker para el machine learning y EMR para las operaciones de ETL. Vea este vídeo de cinco minutos para comenzar.

Consulta federada

Con la

consulta federada, Amazon Redshift puede consultar los datos directamente en los almacenes de Amazon RDS y Aurora PostgreSQL. Esto le permite incorporar datos operativos precisos y actualizados a sus aplicaciones de generación de informes y de BI, sin ninguna operación de ETL. Vea este vídeo de cinco minutos o lea este tutorial para comenzar.

Warner Bros
«Usamos numerosas herramientas de análisis, tanto de AWS como de terceros, y nos complace ver que Amazon Redshift aplica los mismos patrones de transformación de datos variados que incluimos en nuestra solución propia. Llevamos sacando partido de la capacidad de consulta de Amazon Redshift para formatos de datos abiertos en nuestro lago de datos con Redshift Spectrum desde 2017 y ahora, la nueva característica de exportación a lago de datos de Redshift, nos permite escribir información en nuestro lago de datos sin ningún problema. Todo ello con un rendimiento coherente y rápido, incluso en las cargas de consulta más elevadas. Esperamos poder aprovechar la potencia de una pila de big data integrada para impulsar aún más el uso compartido de los datos entre los clústeres de Amazon Redshift y obtener más valor de todos nuestros juegos a un coste más bajo».

Kurt Larson, director técnico de operaciones de marketing de análisis- Warner Bros. Analytics

Recursos

Blog

ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1

Cree patrones de ETL y diseño ELT escalables para una arquitectura de lake house con Amazon Redshift: parte 1.

Leer publicación del blog »
Tutorial

Introducción a Amazon Redshift Spectrum

Tutorial paso a paso para comenzar a usar Amazon Redshift Spectrum.

Iniciar tutorial »
Historia de cliente

Cómo escalar el análisis de datos con Amazon Redshift

Descubra cómo la empresa de entretenimiento Warner Bros usa Amazon Redshift para escalar sus cargas de trabajo de análisis de datos.

Ver el vídeo »
Regístrese para abrir una cuenta de AWS
Regístrese para abrir una cuenta de AWS

Regístrese para abrir una cuenta de AWS y obtenga acceso instantáneo a la capa gratuita de AWS.

Crear cuenta 
Capa gratuita de AWS
Capa gratuita de AWS

Adquiera experiencia práctica y gratuita con la plataforma, los productos y los servicios de AWS.

Más información 
Migre sus bases de datos
Migre sus bases de datos

Migre sus bases de datos de forma rápida y segura con AWS Database Migration Service.

Ver más