Data lakes na AWS
Crie, teste e implante rapidamente seu data lake com soluções da AWS e de parceiros.
Visão geral
As ferramentas tradicionais de armazenamento e análise de dados não podem mais oferecer a agilidade e a flexibilidade necessárias para fornecer informações comerciais relevantes. É por isso que muitas organizações estão migrando para uma arquitetura de data lake. Com os Quick starts de data lakes e as soluções prontas para o cliente, a AWS e os parceiros com essas competências aceleram e facilitam a criação do seu data lake. Um data lake é uma abordagem arquitetônica que permite armazenar grandes quantidades de dados em um local central, para que estejam prontamente disponíveis para serem categorizados, processados, analisados e consumidos por diversos grupos dentro de uma organização. Como os dados podem ser armazenados como estão, não há necessidade de convertê-los em um esquema predefinido e você não precisa mais saber quais perguntas deseja fazer aos seus dados com antecedência.
Um data lake na AWS pode ajudar você a:
-
Coletar e armazenar qualquer tipo de dados, em qualquer escala e com baixo custo
-
Proteger os dados e evitar o acesso não autorizado
-
Catalogar, pesquisar e encontrar os dados relevantes no repositório central
-
Executar novos tipos de análise de dados de forma rápida e fácil
-
Usar um amplo conjunto de mecanismos analíticos para análises ad hoc, streaming em tempo real, análise preditiva, inteligência artificial e machine learning
Um data lake também pode complementar e ampliar seu data warehouse existente. Se você já usa um data warehouse ou deseja implementá-lo, um data lake pode ser usado como fonte de dados estruturados e não estruturados.
Construir um data lake na AWS
Vantagens de um data lake na AWS
-
Ingira dados com facilidade de várias maneiras, inclusive aproveitando o Amazon Kinesis, o AWS Import/Export Snowball, o AWS Direct Connect e muito mais. Armazene todos os seus dados, independentemente do volume ou formato, usando o Amazon Simple Storage Service (Amazon S3).
-
Implante a infraestrutura que você precisa quase instantaneamente. Isso significa que as suas equipes podem ser mais produtivas, fica mais fácil testar novidades e os projetos podem ser implantados mais cedo.
-
A AWS oferece recursos para cumprir os mais rigorosos requisitos de instalações, rede, software e processos empresariais. Os ambientes são auditados continuamente quanto às certificações, como ISO 27001, FedRAMP, DoD SRG e PCI DSS.
-
Crie praticamente qualquer aplicação de big data e ofereça suporte a qualquer workload, independentemente de volume, velocidade e variedade de dados. Com mais de 50 serviços e centenas de recursos adicionados a cada ano, a AWS oferece tudo o que é necessário para coletar, armazenar, processar, analisar e visualizar big data na nuvem.
Baixe o e-book
Saiba como a AWS e os parceiros de competência da APN ajudaram organizações a migrar grandes volumes de dados heterogêneos para um data lake na AWS, onde podem aproveitá-los de forma rápida e simples para obter informações comerciais críticas.
Encontre parceiros de tecnologia da APN em destaque
Attunity
A Fanatics, um popular site de roupas esportivas e produtos para fãs, precisava ingerir terabytes de dados de várias fontes históricas e de streaming (sistemas transacionais, de comércio eletrônico e de back-office) em um data lake no Amazon S3. Uma vez ingeridos, os dados seriam analisados para melhor identificar, prever e atender às necessidades dos clientes relacionadas aos produtos que a Fanatics oferece em mais de 300 lojas online e offline.
Para fazer isso, a Fanatics escolheu o Attunity Replicate, uma solução de software com captura contínua de dados (CDC) e segmentação paralela para transmitir dados em tempo real de várias fontes para um data lake no Amazon S3. Os dados podem então ser consumidos no Apache Kafka para analytics em tempo real. O Attunity ajuda a Fanatics a evitar o trabalho pesado de extrair manualmente dados de fontes diferentes e permite que a organização veja os resultados em tempo real.
Título do webinar: Fanatics ingere dados de streaming para um data lake na AWS
Apresentador do cliente: Alan Chang, gerente sênior de produtos da Fanatics
Apresentador do Attunity: Jordan Martz, diretor de tecnologia
Apresentador da AWS: Paul Sears, arquiteto de soluções
Databricks
Executar workloads de ciência de dados em dados de fontes diferentes: data lake, data warehouse, streaming e muito mais cria desafios para as organizações que precisam usar seus dados para impulsionar melhorias operacionais e de produtos. A editora de livros didáticos McGraw-Hill precisava remover esses silos de dados para transformar seu modelo de negócios para acomodar um foco crescente no aprendizado digital. Especificamente, a empresa queria a capacidade de realizar rapidamente operações complexas de análise e permitir a colaboração entre analistas de negócios, engenheiros de dados e cientistas de dados.
A McGraw-Hill implantou o Databricks, uma plataforma de analytics unificada que permite trabalhar de forma eficiente com dados de streaming, bem como com dados históricos armazenados em data lakes no Amazon S3 e em vários data warehouses. Neste webinar, você aprenderá como o Databricks, desenvolvido pelos criadores originais do Apache Spark™, permite que a McGraw-Hill analise dados históricos e de streaming em uma escala e velocidade que sua solução anterior simplesmente não conseguia fornecer. As workloads de ciência de dados que costumavam levar semanas, agora levam horas.
Título do webinar: McGraw-Hill otimiza workload de analytics com a Databricks
Apresentador do cliente: Matthew Ashbourne, engenheiro-chefe de software da McGraw-Hill Education
Apresentador do Databricks: Brian Dirking, diretor sênior de marketing de parceiros
Apresentador da AWS: Pratap Ramamurthy, arquiteto de soluções de parceiros
Qubole
As tecnologias de big data podem ser complexas e envolver processos manuais demorados. As organizações que automatizam de forma inteligente as operações de big data reduzem seus custos, tornam suas equipes mais produtivas, escalam com mais eficiência e reduzem o risco de falha.
Em nosso webinar, representantes da TiVo, criadora de uma plataforma de gravação digital para conteúdo televisivo, explicarão como implementaram uma nova plataforma de big data e analytics que se expande dinamicamente em resposta às mudanças na demanda. Você aprenderá como a solução permite que a TiVo orquestre facilmente clusters de big data usando o Amazon Elastic Cloud Compute (Amazon EC2) e instâncias spot do Amazon EC2 que leem dados de um data lake no Amazon Simple Storage Service (Amazon S3) e como isso reduz o custo de desenvolvimento e o esforço necessários para dar suporte aos usuários da rede e dos anunciantes. A TiVo compartilhará as lições aprendidas e as práticas recomendadas para ingerir, processar e disponibilizar para análise terabytes de dados de streaming e visualização em lote de milhões de famílias de forma rápida e econômica.
Título do webinar: TiVo: como escalar novos produtos com um data lake na AWS e na Qubole
Apresentador do cliente: Ashish Mrig, gerente sênior de big data analytics, TiVo
Apresentador do Qubole: Harsh Jetly, arquiteto de soluções
Apresentador da AWS: Paul Sears, arquiteto de soluções
Talend
Saiba como reduzir o tempo de desenvolvimento e inovar na AWS. Neste webinar, a Beachbody, vendedora de vídeos de exercícios físicos, perda de peso e musculação em casa, fala sobre sua experiência na migração para uma arquitetura de data lake na AWS usando o Talend. A Beachbody descreverá como eles criaram uma plataforma aberta de dados corporativos, dando aos funcionários acesso a dados seguros e bem governados e aumentando a eficiência do DevOps em toda a empresa.
Participe do nosso webinar e descubra como o Talend e a AWS ajudaram a Beachbody a migrar uma variedade de fontes de dados estruturados e não estruturados para um data lake, reduzir os ciclos de desenvolvimento e testes e resolver desafios complexos de implantação comuns aos dados em tempo real.
Título do webinar: Arquitetando um data lake aberto para a empresa
Apresentador do Talend: Ashwin Viswanath, diretor de marketing de produtos em nuvem
Apresentador do cliente: Eric Anderson, diretor executivo de dados da Beachbody
Apresentador da AWS: Pratap Ramamurthy, arquiteto de soluções
Informatica
A solução Informatica Intelligent Data Lake Management permite que você ingira, limpe, processe, controle e proteja grandes volumes de dados brutos em um data lake confiável na AWS. Os recursos de catalogação corporativa e de IA orientados por metadados da Informatica capacitam as partes interessadas da empresa, como analistas, a descobrir, criar perfis, preparar e proteger dados rapidamente para obter informações comerciais relevantes e oportunas. Resumindo, a Informatica capacita as empresas a aproveitar o poder de um data lake na AWS e liberar insights de big data que ajudam a impulsionar a inovação e as vendas.
Looker
As empresas de hoje funcionam com big data e as métricas geradas por esses dados precisam ser definidas centralmente e totalmente acessíveis para serem realmente benéficas. A solução atual é o Looker, uma plataforma de dados moderna que permite que todos na empresa encontrem e explorem os dados de que precisam para tomar decisões. O Looker foi criado para plataformas de nuvem como a Amazon Web Services (AWS) e permite que você consulte bancos de dados modernos em nuvem, como data lakes, diretamente. Os clientes usam o Looker para análises internas, bem como para expor dados a clientes, parceiros e fornecedores.
Parceiros de consultoria da APN em destaque
Simplifique a implantação de um data lake baseado em nuvem com a AWS e o Talend.
Fique tranquilo com o processo comprovado de três etapas da Cloudwick para arquitetar e gerenciar data lakes na AWS.
Aproveite a experiência e o profundo alinhamento da NorthBay com a AWS para criar sua solução personalizada de Data Lake.
