AWS Lake Formation

Crie um data lake seguro em dias

O AWS Lake Formation é um serviço que facilita a configuração de um data lake seguro em dias. Um data lake é um repositório centralizado, administrado e seguro que armazena todos os seus dados, tanto em sua forma original quanto preparados para análise. Um data lake permite romper os silos de dados e combinar diferentes tipos de análises para obter insights e orientar as melhores decisões de negócios.

No entanto, atualmente a configuração e o gerenciamento dos data lakes envolvem muitas tarefas manuais, complicadas e demoradas. Este trabalho inclui tarefas como carregamento de dados de diversas fontes, monitoramento desses fluxos de dados, configuração de partições, ativação de criptografia e gerenciamento de chaves, definição de tarefas de transformação e monitoramento da operação dessas tarefas, reorganização de dados em um formato colunar, configuração de controle de acesso, remoção da duplicação de dados redundantes, correspondência de registros vinculados, concessão de acesso a conjuntos de dados e auditoria de acesso ao longo do tempo.

Criar um data lake com o Lake Training é tão simples quanto definir as fontes de dados e quais políticas de acesso aos dados e de segurança dos dados serão aplicadas. O Lake Formation ajuda você a coletar e catalogar os dados de bancos de dados e de armazenamento de objetos, mover os dados para o novo data lake do Amazon S3, limpar e classificar os dados usando algoritmos de Machine Learning e proteger o acesso aos dados confidenciais. Os usuários podem acessar um catálogo de dados centralizado que descreve os conjuntos de dados disponíveis e o respectivo uso apropriado. Assim, os usuários usam esses conjuntos de dados com seus serviços analíticos e de machine learning preferidos, como o Amazon Redshift, Amazon Athena e (em beta) Amazon EMR for Apache Spark. O Lake Formation aproveita os recursos disponíveis no AWS Glue.

AWS re:Invent 2018 – Anúncio do AWS Lake Formation

Benefícios

Crie data lakes com rapidez

Com o Lake Formation, você pode mover, armazenar, catalogar e limpar dados com mais agilidade. Basta indicar as fontes de dados para o Lake Formation para que ele examine essas fontes e mova os dados para um novo data lake no Amazon S3. O Lake Formation usa como base os termos de consulta usados frequentemente para organizar os dados no S3 em blocos dimensionados para aumentar a eficiência. Além disso, o Lake Formation altera os dados para formatos como Apache Parquet e ORC para agilizar as análises. O Lake Formation também incorpora machine learning para eliminar duplicidades e encontrar registros correspondentes (duas entradas que fazem referência à mesma coisa) para aumentar a qualidade dos dados.

Simplifique o gerenciamento da segurança

Você pode usar o Lake Formation para centralizar a definição de políticas de segurança, governança e auditoria em um único local (em vez de executar essas tarefas por serviço) e aplicar essas políticas para os usuários em todos os aplicativos de análise. As políticas são implementadas com consistência, eliminando a necessidade de configuração manual em serviços de segurança como o AWS Identity and Access Management e AWS Key Management Service, serviços de armazenamento como o S3 e serviços de análises e machine learning como o Redshift, Athena e (em beta) EMR for Apache Spark. Isso reduz os esforços de configuração de políticas em diversos serviços e oferece aplicação e conformidade consistentes.

Forneça acesso de autoatendimento aos dados

Com o Lake Formation, você cria um catálogo de dados que descreve os diferentes conjuntos de dados disponíveis e quais grupos de usuários têm acesso a cada conjunto. Esse catálogo aumenta a produtividade dos usuários, ajudando-os a encontrar os conjuntos de dados corretos para as análises. Com o catálogo de dados e a aplicação consistente de segurança, o Lake Formation permite que analistas e cientistas de dados usem seus serviços de análises preferidos com mais facilidade.
Eles podem usar o EMR for Apache Spark (em beta), o Redshift ou o Athena em conjuntos de dados diversificados, agora hospedados em um único data lake. Além disso, os usuários podem combinar esses serviços sem necessidade de mover dados entre silos.

Como funciona

Como funciona o AWS Lake Formation

O Lake Formation ajuda a criar, proteger e gerenciar data lakes. Primeiro, identifique datastores existentes no S3 ou bancos de dados relacionais e NoSQL e mova os dados para o data lake. Em seguida, examine, catalogue e prepare os dados para análise. Depois, permita que os usuários acessem os dados por meio de autoatendimento seguro usando seus serviços de análises preferidos. Outros serviços da AWS e aplicativos de terceiros também podem acessar os dados por meio dos serviços mencionados. O Lake Formation gerencia todas as tarefas da caixa laranja e é integrado aos datastores e serviços das caixas azuis.

Casos de uso

Leia mais sobre “What is a Data Lake?” e os casos de uso.

Clientes

panasonic_logo

A Panasonic Avionics Corporation é a fornecedora líder mundial de sistemas de entretenimento e comunicação a bordo.

"Queríamos criar uma plataforma de dados com a capacidade de gerenciar as configurações de segurança de todos os diferentes aplicativos em nosso ambiente. Com o AWS Lake Formation, agora podemos definir políticas uma vez e aplicá-las da mesma maneira e em todos os lugares nos vários serviços que utilizamos, incluindo o AWS Glue e o Amazon Athena", disse Anand Desikan, diretor de serviços de nuvem e dados na Panasonic Avionics. "O nível aprimorado de controle nos proporciona acesso seguro a dados e metadados de colunas e tabelas, não apenas para objetos em massa, o que é parte importante de nosso padrão de segurança e governança de dados."

Accenture_Logo_Black_Purple_RGB

A Accenture é uma das principais empresas globais de serviços profissionais e oferece uma ampla variedade de serviços e soluções digitais e de estratégia, consultoria, tecnologia e operações.

"Eu me concentro em ajudar os clientes em sua jornada de "Dados na nuvem". Em relação a isso, vimos que as organizações estão lidando com uma falta de dados confiáveis quando precisam executar análise em dados provenientes de várias fontes", disse Namrata Maheshwary, arquiteta sênior do Grupo de Negócios de Dados, Accenture. "A limpeza de dados é uma etapa essencial na análise de dados e pode afetar muito o resultado dos negócios e a tomada de decisões. Os novos recursos no AWS Lake Formation foram extremamente benéficos para resolver o desafio da veracidade dos dados e proteger o acesso ao data lake. Descobrimos ser muito útil usar as técnicas avançadas de machine learning para preparação de dados a fim de encontrar registros correspondentes, limpar e desduplicar dados de diferentes fontes de dados. Isso ajudará a reduzir o tempo, o esforço e o custo, ao mesmo tempo que melhorará a qualidade e a precisão dos dados nos datalakes de um cliente."

Zalando

Zalando é a plataforma on-line líder da Europa em moda e estilo de vida.

"Como a empresa de tecnologia mais na moda da Europa, trabalhamos duro para buscar soluções digitais para todo aspecto da jornada de moda", disse Alberto Miorin, líder de engenharia, Zalando SE. "O AWS Lake Formation nos eu um ponto central escalável de controle para acesso a dados por meio do Amazon Redshift, que não só simplificou o processo, mas o melhorou por meio de controle granular sobre como nossos dados estão sendo utilizados. Agora podemos detectar, acessar e analisar dados em nosso data lake com nossas ferramentas preferidas, e aproveitá-los para inteligência comercial e ciência de dados. Esse fluxo de trabalho simplificado ajuda nossos executivos a tomar as decisões certas em tempo e fomenta a inovação por meio do machine learning."

Logo_for_Life360_App

Life360 é a líder mundial em serviço de tranquilidade para famílias. O app Life360 aproxima as famílias com recursos inteligentes projetados para proteger e conectar as pessoas que mais importam.

"Queríamos usar o AWS Lake Formation para criar nosso data lake e oferece suporte a dados em séries temporais baseados em localização, e facilita muito o carregamento de dados. Os esquemas pré-fabricados ajudaram a obter dado no data lake sem nossa equipe de engenharia de dados ter que escrever código desde o princípio, assim podiam se concentrar em operacionalizar a ingestão, não em reinventar a roda", disse Richard Chennault, chefe de serviços de nuvem e dados, Life360, Inc. "Com o AWS Lake Formation, pudemos desbloquear rapidamente os dados disponíveis no Amazon S3 e disponibilizá-los para análise em um amplo espectro dos serviços de dados da AWS. Os dados permanecem no lugar no Amazon S3, podemos analisá-los de várias maneiras diferentes e mantemos o controle sobre eles."

change-healthcare-red-blue-logo

A Change Healthcare é uma empresa independente líder em tecnologia de saúde que fornece soluções voltadas a dados e análises que alcançam cerca de 2.100 conexões pagantes governamentais e comerciais, 5.500 hospitais, 900.000 médicos e 33.000 farmácias.

“Processamos dados de milhões de transações diárias, mantendo a conformidade com os regulamentos do setor de saúde, incluindo a HIPAA”, disse Aaron Symanski, diretor de tecnologia da Change Healthcare. “Estamos muito entusiasmados com o lançamento do AWS Lake Formation, que oferece um ponto de controle centralizado para carregar, limpar, proteger e catalogar facilmente dados de milhares de clientes em nosso data lake baseado na AWS, reduzindo drasticamente nossa carga operacional. Os controles de acesso a dados no Lake Formation facilitam a definição de nossas políticas uma única vez e sua aplicação em todos os serviços de análises e machine learning que utilizamos, com registros de auditoria para demonstrar a conformidade. Além disso, o Lake Formation mantém a conformidade com a HIPAA desde o primeiro dia, cumprindo nossos requisitos de segurança e oferecendo uma forma convincente de criar e gerenciar nosso data lake”.

Fender_digital

A Fender Digital faz parte da Fender, a icônica marca de guitarra, e produz aplicativos, sites, plataformas e ferramentas para complementar as guitarras, os amplificadores e os equipamentos de áudio fabricados pela Fender.

“Geramos uma enorme quantidade de dados de usuário e utilização de nossos aplicativos e dispositivos digitais. Estamos planejando criar um data lake na AWS para operar ao lado do nosso data warehouse baseado no Amazon Redshift”, afirmou Joshua Couch, vice-presidente de engenharia da Fender Digital. “Estou ansioso para que a minha equipe possa usar o AWS Lake Formation. O Lake Formation facilita a carga, a transformação e a catalogação de dados e sua disponibilização segura para a organização em um amplo portfólio de serviços da AWS. Com uma opção de nível empresarial como o Lake Formation, poderemos dedicar mais tempo à obtenção de valor dos nossos dados em vez do trabalho pesado envolvido na configuração e gerenciamento manuais do data lake.”

cloudreach-logo

Supercarregada pela plataforma de software de migração e gerenciamento, o Cloudamize, a Cloudreach traz simplicidade e absoluta confiança a tomada de decisões orientadas por dados.

"O AWS Lake Formation está democratizando o data lake e criando um ponto de aceleração para a estratégia de dados empresariais", disse Kevin Davis, CTO de prática da AWS, Cloudreach. "O AWS Lake Formation centraliza a segurança e a governança de serviços, simplificando o gerenciamento e reduzindo a sobrecarga operacional. Acelerando o processo de retirada de dados do isolamento em toda a empresa, outras iniciativas de dados, como o machine learning, começam a gerar maior valor de negócios."

Amgen-logo

Amgen é a maior empresa de biotecnologia independente do mundo.

"Na Amgen, fomos usuários pesados do Amazon Redshift, do Amazon EMR e de clusters do Databricks por mais de três anos. Configurar os controles de segurança e acesso para cada conta, serviço, usuário e conjunto de dados da AWS no nível de detalhe que era necessário podia ser trabalhoso", disse Kerby Johnson, proprietário de produto do Enterprise Data Lake, Amgen. "O AWS Lake Formation simplifica o processo com um ponto de controle central ao mesmo tempo que nos permite gerenciar quem está usando nossos dados, e de que maneira, com mais detalhes. O AWS Lake Formation nos permite gerenciar permissões sobre objetos do Amazon S3 como e gerenciássemos permissões sobre dados em um banco de dados. Nossos usuários poderão encontrar, acessar e analisar os dados de que precisam com as ferramentas que preferirem. Esse novo fluxo de trabalho pode tornar todos mais produtivos ao usar dados da Amgen."

Alcon-logo

Alcon é líder em inovação e desenvolvimento de produtos para visão e cuidados com os olhos que mudam a vida das pessoas.

"Como muitas empresas, começamos nossa iniciativa de data lake para nos afastarmos de usar silos de dados inacessíveis", disse Srinivas Ravilisetty, líder de análise de TI, Alcon. "Com o AWS Lake Formation, podemos adicionar acesso rapidamente a buckets existentes do Amazon S3 e definir o que eles contêm e como podem ser usados. Os dados permanecem no lugar no S3, mas temos pleno controle sobre eles para outros usos."

quantiphi-logo

A Quantiphi é uma empresa de software e serviços de inteligência artificial e big data motivada pelo desejo de resolver problemas empresariais complexos. A Quantiphi é especializada em criar data lakes e soluções de IA para clientes a fim de gerar valor quantificável.

"O AWS Lake Formation nos permite gerar um data lake seguro com acesso a dados relevantes em dias", disse Arnav Gupta, líder de prática da AWS, Quantiphi. "Agora temos a capacidade de gerar o melhor dos dois mundos para nossos clientes: segurança plena e acesso simplificado a dados relevantes para que os usuários deles tomem decisões facilmente. Nossos clientes podem se concentrar em tomar decisões de negócios mais inteligentes orientadas por análise aproveitando uma poderosa fonte de dados centralizada."

Product-Page_Standard-Icons_01_Product-Features_SqInk
Saiba mais sobre os recursos do AWS Lake Formation
Saiba mais 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Cadastrar-se em uma conta
Cadastrar-se 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comece a criar no console
Faça login