AWS Lake Formation

Crie um data lake seguro em dias

O AWS Lake Formation é um serviço que facilita a configuração de um data lake seguro em dias. Um data lake é um repositório centralizado, administrado e seguro que armazena todos os seus dados, tanto em sua forma original quanto preparados para análise. Um data lake permite romper os silos de dados e combinar diferentes tipos de análises para obter insights e orientar as melhores decisões de negócios.

No entanto, atualmente a configuração e o gerenciamento dos data lakes envolvem muitas tarefas manuais, complicadas e demoradas. Este trabalho inclui tarefas como carregamento de dados de diversas fontes, monitoramento desses fluxos de dados, configuração de partições, ativação de criptografia e gerenciamento de chaves, definição de tarefas de transformação e monitoramento da operação dessas tarefas, reorganização de dados em um formato colunar, configuração de controle de acesso, remoção da duplicação de dados redundantes, correspondência de registros vinculados, concessão de acesso a conjuntos de dados e auditoria de acesso ao longo do tempo.

Criar um data lake com o Lake Training é tão simples quanto definir a localização dos seus dados e quais políticas de acesso aos dados e de segurança dos dados serão aplicadas. O Lake Formation coleta e cataloga os dados de bancos de dados e de armazenamento de objetos, move os dados para o novo data lake do Amazon S3, limpa e classifica os dados usando algoritmos de Machine Learning e protege o acesso aos dados confidenciais. Os usuários podem acessar um catálogo centralizado de dados que descreve os conjuntos de dados disponíveis e o respectivo uso apropriado. Assim, os usuários usam esses conjuntos de dados com seus serviços analíticos e de machine learning preferidos, como o Amazon EMR para o Apache Spark, o Amazon Redshift, o Amazon Athena, o Amazon Sagemaker e o Amazon QuickSight.

AWS re:Invent 2018 – Anúncio do AWS Lake Formation

Benefícios

Crie data lakes com rapidez

Com o Lake Formation, você pode mover, armazenar, catalogar e limpar dados com mais agilidade. Basta indicar as fontes de dados para o Lake Formation para que ele examine essas fontes e mova os dados para um novo data lake no Amazon S3. O Lake Formation usa como base os termos de consulta usados frequentemente para organizar os dados no S3 em blocos dimensionados para aumentar a eficiência. Além disso, o Lake Formation altera os dados para formatos como Apache Parquet e ORC para agilizar as análises. O Lake Formation também incorpora machine learning para eliminar duplicidades e encontrar registros correspondentes (duas entradas que fazem referência à mesma coisa) para aumentar a qualidade dos dados.

Simplifique o gerenciamento da segurança

Você pode usar o Lake Formation para centralizar a definição de políticas de segurança, governança e auditoria em um único local (em vez de executar essas tarefas por serviço) e aplicar essas políticas para os usuários em todos os aplicativos de análise. As políticas são implementadas com consistência, eliminando a necessidade de configuração manual em serviços de segurança (AWS Identity and Access Management e AWS Key Management Service), serviços de armazenamento (S3) e serviços de análises e machine learning (Redshift, Athena e EMR for Apache Spark). Isso reduz os esforços de configuração de políticas em diversos serviços e oferece aplicação e conformidade consistentes.

Acesse dados por meio de autoatendimento com facilidade e segurança

Com o Lake Formation, você cria um catálogo de dados que descreve os diferentes conjuntos de dados disponíveis e quais grupos de usuários têm acesso a cada conjunto. Esse catálogo aumenta a produtividade dos usuários, ajudando-os a encontrar os conjuntos de dados corretos para as análises. Com o catálogo de dados e a aplicação consistente de segurança, o Lake Formation permite que analistas e cientistas de dados usem seus serviços de análises preferidos com mais facilidade.
Eles podem usar o EMR for Apache Spark, o Redshift, o Athena, o Sagemaker ou o QuickSight em conjuntos de dados diversificados, agora hospedados em um único data lake. Além disso, os usuários podem combinar esses serviços sem necessidade de mover dados entre silos.

Como funciona

Como funciona o AWS Lake Formation

O Lake Formation ajuda a criar, proteger e gerenciar data lakes. Primeiro, identifique datastores existentes no S3 ou bancos de dados relacionais e NoSQL e mova os dados para o data lake. Em seguida, examine, catalogue e prepare os dados para análise. Depois, permita que os usuários acessem os dados por meio de autoatendimento seguro usando seus serviços de análises preferidos. Outros serviços da AWS e aplicativos de terceiros também podem acessar os dados por meio dos serviços mencionados. O Lake Formation gerencia todas as tarefas da caixa laranja e é integrado aos datastores e serviços das caixas azuis.

Casos de uso

Leia mais sobre “What is a Data Lake?” e os casos de uso.

Clientes

change-healthcare-red-blue-logo

A Change Healthcare é uma empresa independente líder em tecnologia de saúde que fornece soluções voltadas a dados e análises que alcançam cerca de 2.100 conexões pagantes governamentais e comerciais, 5.500 hospitais, 900.000 médicos e 33.000 farmácias.

“Processamos dados de milhões de transações diárias, mantendo a conformidade com os regulamentos do setor de saúde, incluindo a HIPAA”, disse Aaron Symanski, diretor de tecnologia da Change Healthcare. “Estamos muito entusiasmados com o lançamento do AWS Lake Formation, que oferece um ponto de controle centralizado para carregar, limpar, proteger e catalogar facilmente dados de milhares de clientes em nosso data lake baseado na AWS, reduzindo drasticamente nossa carga operacional. Os controles de acesso a dados no Lake Formation facilitam a definição de nossas políticas uma única vez e sua aplicação em todos os serviços de análises e machine learning que utilizamos, com registros de auditoria para demonstrar a conformidade. Além disso, o Lake Formation mantém a conformidade com a HIPAA desde o primeiro dia, cumprindo nossos requisitos de segurança e oferecendo uma forma convincente de criar e gerenciar nosso data lake”.

Fender_digital

A Fender Digital faz parte da Fender, a icônica marca de guitarra, e produz aplicativos, sites, plataformas e ferramentas para complementar as guitarras, os amplificadores e os equipamentos de áudio fabricados pela Fender.

“Geramos uma enorme quantidade de dados de usuário e utilização de nossos aplicativos e dispositivos digitais. Estamos planejando criar um data lake na AWS para operar ao lado do nosso data warehouse baseado no Amazon Redshift”, afirmou Joshua Couch, vice-presidente de engenharia da Fender Digital. “Estou ansioso para que a minha equipe possa usar o AWS Lake Formation. O Lake Formation facilita a carga, a transformação e a catalogação de dados e sua disponibilização segura para a organização em um amplo portfólio de serviços da AWS. Com uma opção de nível empresarial como o Lake Formation, poderemos dedicar mais tempo à obtenção de valor dos nossos dados em vez do trabalho pesado envolvido na configuração e gerenciamento manuais do data lake.”

Product-Page_Standard-Icons_01_Product-Features_SqInk
Saiba mais sobre os recursos do AWS Lake Formation
Saiba mais 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Cadastrar-se em uma conta
Cadastrar-se 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comece a criar no console
Faça login