A arquitetura de lakehouse do Amazon SageMaker
Simplifique o analytics e a IA com uma arquitetura de data lakehouse unificada, aberta e segura
Visão geral
A próxima geração do Amazon SageMaker é criada em uma arquitetura de lakehouse aberta, totalmente compatível com o Apache Iceberg. Unifique todos os dados entre os data lakes do Amazon Simple Storage Service (Amazon S3), incluindo as Tabelas do S3, e os data warehouses do Amazon Redshift, ajudando você a desenvolver aplicações avançadas de analytics e de IA/ML com uma única cópia dos dados. Acesse e consulte seus dados diretamente de forma flexível, com ferramentas e mecanismos compatíveis com o Apache Iceberg. Garanta a segurança dos seus dados definindo permissões granulares que são aplicadas em todas as ferramentas e mecanismos de analytics e machine learning (ML). Transfira dados de bancos de dados operacionais e de aplicações para o seu lakehouse praticamente em tempo real por meio de integrações ETL zero. Adicionalmente, execute consultas federadas em dados armazenados em diversas fontes de entidades externas para acessar e consultar os dados diretamente.
Veja em ação
Veja como você pode acessar dados unificados de data lakes do S3, Tabelas do S3 e data warehouses do Redshift em um data lakehouse seguro e aberto.
Benefícios
Unificação do acesso a todos os seus dados
Unifique todos os seus dados nos data lakes do Amazon S3, incluindo as Tabelas do S3, e nos data warehouses do Amazon Redshift. Transfira seus dados de bancos de dados operacionais e de aplicações para o lakehouse praticamente em tempo real por meio de integrações ETL zero. É possível usar centenas de conectores para realizar a integração de dados provenientes de diferentes fontes. Além disso, é possível acessar e consultar dados diretamente ao usar as funcionalidades de consulta federada em fontes de dados de entidades externas.
Use suas ferramentas e mecanismos de preferência, compatíveis com o padrão aberto do Apache Iceberg
Obtenha a flexibilidade de acessar e consultar seus dados diretamente com todas as ferramentas e mecanismos analíticos compatíveis com o Apache Iceberg, como SQL, Apache Spark, business intelligence (BI) e ferramentas de IA/ML para acessar dados unificados em seu lakehouse.
Garantia da proteção dos dados por meio de controles de acesso granulares
Casos de uso
Gerenciamento de uma única cópia dos dados em data lakes e data warehouses
Unifique todos os seus dados em data lakes do Amazon S3 e em data warehouses do Amazon Redshift para suas iniciativas de analytics e de IA, com uma única cópia dos dados. Os controles de acesso integrados permitem que você defina as permissões refinadas e o compartilhamento seguro de uma única cópia dos dados por toda a organização.
Execução de analytics praticamente em tempo real em dados operacionais por meio de integrações ETL zero
Acesse dados praticamente em tempo real em bancos de dados operacionais e aplicações por meio de integrações ETL zero. Acesse e consulte seus dados diretamente ao usar uma ampla variedade de serviços da AWS e ferramentas e mecanismos de código aberto e de entidades terceiras que são compatíveis com o Apache Iceberg.
Crie uma arquitetura de vários warehouses no Amazon Redshift
Transfira dados existentes de vários data warehouses do Amazon Redshift para o lakehouse com a finalidade de consultar e unir dados armazenados em clusters e grupos de trabalho do Amazon Redshift. Escale as workloads para processos de extração, transformação e carregamento (ETL), geração de relatórios de BI e análises sob demanda, sem a necessidade de gerenciar vários compartilhamentos de dados.
Clientes
Lennar
“Dedicamos os últimos 18 meses trabalhando em parceria com a AWS para transformar nossa base de dados, usando as melhores soluções da categoria que também são economicamente viáveis. Com inovações como o Estúdio Unificado Amazon SageMaker e o Amazon SageMaker Lakehouse, esperamos acelerar nossa velocidade de entrega por meio de acesso integrado a dados e serviços. Isso possibilitará que nossos engenheiros, analistas e cientistas obtenham insights que agreguem valor relevante ao nosso negócio.”
Lee Slezak, vice-presidente sênior do departamento de dados e analytics, Lennar
Roche
A Roche é pioneira global em produtos farmacêuticos e para diagnóstico focados no avanço da ciência para melhorar a vida das pessoas.
“Estamos usando o Amazon Redshift para obter insights de dados estruturados e semiestruturados em todos os nossos repositórios de dados. Estou entusiasmado com o novo Amazon SageMaker Lakehouse e seu potencial para otimizar e unificar o acesso aos data lakes e às outras fontes de dados por meio de serviços como o Amazon Redshift, o Catálogo de Dados do AWS Glue e o AWS Lake Formation. Essa inovação permitirá que nossas equipes de dados e de engenharia simplifiquem o acesso aos dados, promovendo a interoperabilidade em dados, analytics e workloads de aplicações. Prevejo uma redução significativa nos erros relacionados aos dados devido à diminuição das cópias de dados, uma diminuição de 40% no tempo de processamento, um retorno mais rápido de dados de analytics para os sistemas transacionais, o que aprimorará a tomada de decisões, além de permitir que nossas equipes se concentrem na geração de valor para os negócios.”
Yannick Misteli, diretor de engenharia no departamento de estratégia global de produtos, Roche
Idealista
A Idealista apoia agentes imobiliários e particulares em todo o sul da Europa, fornecendo uma plataforma on-line de classificados imobiliários.
“Nosso objetivo é simplificar o acesso aos dados do Salesforce para aprimorar o analytics em nosso data lake. Ao aproveitar a nova compatibilidade do Amazon SageMaker Lakehouse com integrações ETL zero nos atributos das aplicações, podemos simplificar nossos processos de extração e ingestão de dados, eliminando a necessidade de vários ETLs acessarem diretamente o Salesforce. Essa abordagem centralizada reduz a complexidade e melhora significativamente nossa eficiência de gerenciamento de dados. Esperamos ter uma economia significativa de tempo no desenvolvimento da extração e ingestão de dados, permitindo que nossa equipe se concentre em obter insights acionáveis de nossos dados, em vez de gerenciar sua coleta.”
Javier Monterrubio, gerente de engenharia de plataforma de dados, Idealista
Carrier
“Na Carrier, a próxima geração do Amazon SageMaker está transformando nossa estratégia de dados corporativos ao simplificar a forma como criamos e escalamos produtos de dados. A abordagem do Estúdio Unificado SageMaker para descoberta, processamento e desenvolvimento de modelos de dados acelerou significativamente nossa implementação no lakehouse. O mais impressionante é que sua integração perfeita com nosso catálogo de dados existente e os controles de governança integrados nos permitem democratizar o acesso aos dados e, ao mesmo tempo, manter os padrões de segurança, ajudando nossas equipes a fornecer rapidamente soluções avançadas de analytics e IA em toda a empresa.”
Parceiros
Tableau
A Tableau ajuda pessoas e organizações a se tornarem mais orientadas por dados.
“A parceria entre a Amazon e a Salesforce Tableau representa um compromisso compartilhado com a inovação e o sucesso do cliente. Por meio da nova Integração ETL zero da Amazon, estamos combinando dados e analytics baseados em IA da Tableau com a avançada infraestrutura de dados da Amazon para transformar a forma como as organizações obtêm insights de seus dados. Essa integração perfeita permite que nossos clientes obtenham insights de todos os seus dados estruturados e não estruturados usando o poder do Amazon SageMaker Lakehouse e do Amazon Redshift, reduzindo de forma significativa a complexidade da engenharia e o tempo de implantação. Juntas, a Tableau e a Amazon estão ajudando os clientes a acelerar a transformação digital e a gerar valor comercial em grande escala.”
Ali Tore, vice-presidente sênior de analytics avançado, Tableau
dbt Labs
A dbt Labs tem a missão de ajudar analistas a criar e disseminar o conhecimento organizacional.
“Há muito tempo somos o padrão de transformação, além do Amazon Redshift, oferecendo flexibilidade, colaboração e confiança. Com o novo Amazon SageMaker Lakehouse, estamos entusiasmados em estender esse valor para mais clientes e ainda mais dados no ambiente da AWS. Agora, os clientes podem acessar todos os dados em todo o sistema da AWS, incluindo data warehouses e data lakes. Estamos entusiasmados em unir nossos recursos ao novo Amazon SageMaker para oferecer governança, catalogação e otimizações de dados para nossos clientes conjuntos.”
Shawn Toldo, vice-presidente de parcerias, dbt Labs
Informatica
A Informatica, líder em gerenciamento de dados em nuvem baseados em IA empresarial, dá vida aos dados e à IA ao capacitar as empresas a perceberem o poder transformador de seus ativos mais cruciais.
“Nossa plataforma Intelligent Data Management Cloud (IDMC) e o Amazon SageMaker ajudam as organizações a descobrir o potencial dos dados e a impulsionar a inovação e a eficiência. Como parceiro de lançamento do Amazon SageMaker Lakehouse, estamos orgulhosos em oferecer uma solução de nível corporativo que atende aos altos padrões das organizações modernas orientadas por dados. Junto com a infraestrutura da AWS, possibilitamos decisões mais rápidas e informadas para resultados impactantes em todos os setores.”
Pratik Parekh, vice-presidente sênior de gerenciamento de produtos, Informatica
