A Integração ETL zero do Amazon Aurora com o Amazon Redshift permite análises e machine learning (ML) quase em tempo real usando o Amazon Redshift em petabytes de dados transacionais. Poucos segundos após a gravação dos dados transacionais no Amazon Aurora, o ETL zero disponibiliza os dados no Amazon Redshift, eliminando a necessidade de criar e manter pipelines de dados complexos que executam operações de extração, transformação e carregamento (ETL).
Benefícios
Acesso a dados quase em tempo real
Acesse dados transacionais do Aurora no Amazon Redshift em poucos segundos para executar análises e ML quase em tempo real em petabytes de dados.
Fácil de usar
Analise rapidamente seus dados transacionais quase em tempo real sem precisar criar e gerenciar pipelines de ETL para mover dados transacionais para sistemas de análise.
Integração perfeita de dados
Consolide várias tabelas de vários clusters de banco de dados do Aurora e replique seus dados em um data warehouse do Amazon Redshift para executar análises unificadas em várias aplicações e fontes de dados.
Sem gerenciamento da infraestrutura
Execute análises quase em tempo real de dados transacionais sem precisar gerenciar nenhuma infraestrutura ao usar o Amazon Aurora sem Servidor v2 e o Amazon Redshift sem servidor.
Casos de uso
Análises operacionais quase em tempo real
Use os recursos de análise e ML do Amazon Redshift para obter insights quase em tempo real a partir de dados transacionais e outros dados para responder com eficácia a eventos críticos e urgentes. A análise quase em tempo real pode ajudar você a obter insights mais precisos e oportunos para casos de uso, como segmentação de conteúdo, experiência otimizada de jogo, monitoramento da qualidade dos dados, detecção de fraudes e análise do comportamento do cliente.
Análises em grande escala
Com a Integração ETL zero do Aurora com o Amazon Redshift, você pode usar os recursos do Amazon Redshift para analisar petabytes dos seus dados transacionais consolidados de vários clusters de banco de dados do Aurora. Você pode aproveitar os recursos analíticos abrangentes do Amazon Redshift, como ML incorporada, visões materializadas, compartilhamento de dados e acesso federado a vários datastores e data lakes. Com o ML no Amazon Redshift, você pode executar bilhões de previsões com comandos SQL simples e integração nativa com o Amazon SageMaker.
Reduza a carga operacional
Mover dados de um banco de dados transacional para um data warehouse central geralmente exige a criação, manutenção e operação de uma solução de ETL complexa de pipeline de dados. Com uma integração ETL zero, você pode replicar facilmente o esquema, os dados existentes e as alterações de dados do seu banco de dados Aurora em um cluster do Amazon Redshift novo ou existente. A Integração ETL zero elimina a necessidade de gerenciamento complexo do pipeline de dados.
Como começar a usar
Para criar sua Integração ETL zero entre o Aurora e o Amazon Redshift, você especifica um cluster de banco de dados Aurora como fonte de dados e um data warehouse do Amazon Redshift como destino. A integração replica os dados do banco de dados de origem no data warehouse de destino. Os dados ficam disponíveis no Amazon Redshift em poucos segundos, permitindo que os analistas de dados comecem a usar análises do Amazon Redshift e a funcionalidade de ML nos dados. Para saber mais, acesse os guias de introdução do Aurora e do Amazon Redshift.
Recursos
Preços
- E/S e armazenamento adicionais usados ao habilitar a captura de dados de alterações
- Custos de exportação de snapshots para a exportação inicial de dados a fim de propagar seus bancos de dados do Amazon Redshift
- Armazenamento adicional do Amazon Redshift para armazenar dados replicados
- Computação adicional do Amazon Redshift para processar a replicação de dados
- Custos de transferência de dados entre AZs para mover dados da origem para o destino.
O processamento contínuo de alterações de dados pela Integração ETL zero é oferecido sem custo adicional. Para obter mais informações, acesse a página de preços do Aurora.
Clientes
A verificação de frete é crucial para manter a integridade da cadeia de suprimentos dos clientes de manufatura, varejo e logística da Infosys. Para conseguir isso, a ingestão em tempo real de dados de rastreamento de frete é necessária para rastrear remessas e análises de frete.
“A Infosys utilizou os recursos do Zero-ETL para ingerir dados em tempo real, permitindo o rastreamento de remessas de carga e fornecendo visibilidade da localização, status e hora estimada de chegada. Isso permite a otimização das operações de frete e uma redução significativa de custos. Com relatórios e análises abrangentes do Zero-ETL, juntamente com os esquemas industriais da Infosys Cobalt e Topaz, a tomada de decisões baseada em dados agora é possível.”
Sunil Senan, vice-presidente sênior e chefe global de dados, análises e IA, Infosys
A Intuit é a plataforma global de tecnologia financeira que impulsiona a prosperidade de 100 milhões de consumidores e clientes de pequenas empresas com TurboTax, Credit Karma, QuickBooks e Mailchimp. Com a complexidade de uma migração futura, a Intuit estava observando uma taxa impressionante de mais de 10 milhões de migrações de perfil por dia. A Intuit recorreu à integração ETL zero do Amazon Aurora MySQL com o Amazon Redshift para simplificar seu processo de ingestão de dados e eliminar a necessidade de trabalhos complexos de engenharia.
“O grande volume de dados e a necessidade de uma migração perfeita representaram um desafio significativo para nós. Além disso, precisávamos de uma solução que nos permitisse analisar o processo de migração rapidamente, permitindo tomar decisões rápidas e baseadas em dados. Para enfrentar esses desafios, recorremos à integração ETL zero do Amazon Aurora com o Amazon Redshift para simplificar nosso processo de ingestão de dados e eliminar a necessidade de trabalhos complexos de engenharia. Com o Zero-ETL, conseguimos enviar grandes quantidades de dados para o Amazon Redshift sem a necessidade de captura de dados ou trabalhos de ingestão separados. Isso permitiu insights rápidos para impulsionar decisões técnicas e comerciais críticas, economizando meses de esforços que, de outra forma, seriam necessários. A utilização da integração ETL zero do Aurora com o Amazon Redshift nos ajudou a explorar novos padrões na Intuit para migrações de dados em grande escala e análises quase em tempo real.”
Aruna Ghiware, gerente de desenvolvimento de produtos, Intuit
A KINTO Technologies Corporation é líder no setor de plataformas de mobilidade e é a empresa de tecnologia responsável pelo desenvolvimento do serviço KINTO como empresa de serviços financeiros da Toyota. Aproveitando a integração ETL zero do Amazon Aurora MySQL com o Amazon Redshift, a KINTO Technologies conseguiu alcançar um pipeline de dados mais resiliente e agora pode aplicar os atributos de análise avançada do Amazon Redshift aos seus dados operacionais quase em tempo real.
“Antes da integração ETL zero estar disponível, usávamos uma solução personalizada que transmitia continuamente mudanças de nossos bancos de dados principais para aplicativos posteriores, mas enfrentávamos desafios persistentes de desempenho e impactos em nossa workload de produção. Para lidar com o impacto sobre o desempenho na workload de produção, tivemos que ajustar manualmente os pipelines para enviar atualizações com menos frequência e nos contentar com dados antigos no Amazon Redshift. Usando a integração ETL zero do Aurora MySQL com o Amazon Redshift, podemos sempre ter dados quase em tempo real disponíveis no Amazon Redshift, eliminando as horas de desenvolvimento gastas manualmente gerenciando pipelines de dados para operações de ETL ou lidando com impactos de desempenho em nossas workloads, o que ajuda a reduzir nossa carga operacional.”
Hitoshi Kageyama, vice-presidente executivo, KINTO Technologies Corporation
A Money Forward i se esforça para aumentar a produtividade e o potencial criativo das equipes de TI nas organizações, simplificando tarefas repetitivas, cortando custos e fortalecendo a segurança por meio da Admina, sua plataforma intuitiva de gerenciamento de SaaS.
“Antes do lançamento da integração ETL zero do Amazon Aurora com o Amazon Redshift, a carga de implementar e manter nossas operações de ETL para analisar dados de produtos do Amazon Aurora MySQL no Amazon Redshift era desafiadora. A integração ETL zero do Aurora MySQL com o Amazon Redshift permite a sincronização de dados quase em tempo real entre nossos bancos de dados Aurora MySQL e o Amazon Redshift, reduzindo o tempo de criação de um ambiente de análise de um mês para apenas três horas. Além de reduzir a carga inicial no momento do desenvolvimento, com a integração ETL zero, há menos impacto nos ambientes de produção, possibilitando a criação do ambiente de análise com custo mínimo e velocidade máxima.”
Katsutoshi Murakami, diretor e CPO, Money Forward i
A Woolworths é uma varejista líder na África Subsaariana que oferece uma ampla variedade de roupas de qualidade, mercadorias em geral e produtos alimentícios com foco em inovação, valor e sustentabilidade.
“Obter insights oportunos de nossos dados é fundamental, pois significa que podemos promover rapidamente decisões baseadas em dados em toda a nossa empresa e responder de forma eficaz a eventos críticos e urgentes. Usar a captura de dados de alterações e a coagulação de registros era demorado e mais caro do que o esperado para processar. Ao usar a integração ETL zero do Amazon Aurora MySQL com o Amazon Redshift, pudemos produzir os mesmos resultados em um dia que, de outra forma, levariam dois meses para serem desenvolvidos devido ao esforço de engenharia necessário para operações de ETL. Nossa latência de dados foi significativamente reduzida usando a integração, pois os dados estavam prontos para consulta. Isso nos permitiu tomar decisões mais rapidamente à medida que os eventos ocorriam. Diminuímos nosso esforço de engenharia, reduzimos os pontos de falha no gerenciamento do pipeline e economizamos custos usando a integração ETL zero do Aurora com o Amazon Redshift.”
Raamy Schroeder, líder de inteligência de negócios, Woolworths
Saiba mais sobre os atributos do Aurora