Arquitetura de lake house do Amazon Redshift

Consulte todos os dados em formatos de arquivo abertos. Nenhum carregamento de dados é exigido.

O volume de dados gerados por IoT, dispositivos inteligentes, aplicações na nuvem e redes sociais está aumentando exponencialmente. Você precisa de meios para analisar todos esses dados com facilidade e de forma econômica e com o mínimo de tempo para obter insights, seja qual for o formato ou o local em que os dados estiverem armazenados.

O Amazon Redshift habilita a arquitetura de lake house, permitindo que você consulte dados no data warehouse, no data lake e nos bancos de dados operacionais para obter insights mais aprofundados e com maior rapidez, o que não seria possível de outra forma. Com uma arquitetura de lake house, é possível armazenar dados em formatos de arquivo abertos no data lake do Amazon S3. Isso permite que você disponibilize esses dados com facilidade para outras ferramentas de análise e machine learning, em vez de mantê-los inacessíveis em um novo silo.

Com a arquitetura de lake house do Amazon Redshift, é possível:

  • Consultar dados com facilidade no data lake e regravá-los em formatos abertos.
  • Usar instruções SQL familiares para combinar e processar dados em todos os seus datastores.
  • Consultar dados dinâmicos nos bancos de dados operacionais sem a necessidade de carregar nenhum dado e pipeline de ETL.

Palestra do re:Invent de 2019: Arquitetura de lake house do Amazon Redshift (1:23)

Recursos

A arquitetura de lake house do Amazon Redshift é habilitada pelos seguintes recursos:

Amazon Redshift Spectrum

Consulte dados de formato aberto diretamente no data lake do Amazon S3 sem precisar carregá-los nem duplicar sua infraestrutura. Usando o recurso Amazon Redshift Spectrum, você pode consultar formatos de arquivo abertos, como Apache Parquet, ORC, JSON, Avro e CSV. Siga este tutorial detalhado para começar.

Data Lake Export

Salve os resultados de uma consulta do Amazon Redshift diretamente no data lake do S3 em um formato de arquivo aberto (Apache Parquet) usando o recurso Data Lake Export. Depois, é possível analisar esses dados usando o recurso Amazon Redshift Spectrum, além de outros produtos da AWS, como o Sagemaker para machine learning e o EMR para operações de ETL. Assista a este vídeo de 5 minutos para começar.

Consulta federada

A Consulta federada permite que o Amazon Redshift consulte dados diretamente em armazenamentos do Amazon RDS e do Aurora PostgreSQL. Isso permite incorporar dados operacionais oportunos e atualizados em suas aplicações de geração de relatórios e BI, sem nenhuma operação de ETL. Assista a este vídeo de 5 minutos ou leia este documento tutorial para começar.

Warner Bros
“Utilizamos muitas ferramentas de análise da AWS e de terceiros e estamos contentes em ver que o Amazon Redshift continua adotando os mesmos padrões de transformação de dados variados que já adotamos com nossa própria solução. Utilizamos o recurso Redshift Spectrum do Amazon Redshift para consultar formatos de dados abertos em nosso data lake desde 2017 e, agora, com o novo recurso Redshift Data Lake Export, ganhamos a praticidade de gravar os dados de volta em nosso data lake. Tudo isso com uma performance rápida e consistente, mesmo com nossas cargas de consulta mais altas. Queremos muito utilizar a sinergia de uma pilha de big data integrada para aumentar o compartilhamento de dados entre os clusters do Amazon Redshift e gerar maior valor por um custo menor para todos os nossos jogos.”

Kurt Larson, diretor técnico de operações de marketing de análise da Warner Bros. Analytics

Recursos

Blog

ETL e padrões de design de ELT para arquitetura de lake house usando o Amazon Redshift: Parte 1

Desenvolva padrões de ETL e design de ELT escaláveis para arquitetura de lake house usando o Amazon Redshift: Parte 1.

Leia o blog »
Tutorial

Conceitos básicos do Amazon Redshift Spectrum

Tutorial detalhado para começar a usar o Amazon Redshift Spectrum.

Iniciar o tutorial »
História do cliente

Como escalar análises de dados com o Amazon Redshift

Saiba como a empresa de entretenimento Warner Bros usa o Amazon Redshift para escalar suas workloads de análise de dados.

Assista ao vídeo »
Cadastre-se para obter uma conta da AWS
Cadastre-se para obter uma conta da AWS

Cadastre-se para obter uma conta da AWS e acesso instantâneo ao nível gratuito da AWS.

Criar conta 
Nível gratuito da AWS
Nível gratuito da AWS

Adquira experiência prática gratuita com a plataforma, os serviços e os produtos da AWS.

Saiba mais 
Migre seus bancos de dados
Migre seus bancos de dados

Migre seus bancos de dados com rapidez e segurança com o AWS Database Migration Service.

Explore mais