Publicado: Aug 9, 2019
O AWS Lake Formation é um serviço que facilita a configuração de um data lake seguro em dias. Um data lake é um repositório centralizado, administrado e seguro que armazena todos os seus dados em sua forma original e preparados para análise. Um data lake permite romper os silos de dados e combinar diferentes tipos de análises para obter insights e orientar as melhores decisões de negócios.
No entanto, a configuração e o gerenciamento dos data lakes envolvem hoje muitas tarefas manuais, complicadas e demoradas. Este trabalho inclui tarefas como carregamento de dados de diversas fontes, monitoramento desses fluxos de dados, configuração de partições, ativação de criptografia e gerenciamento de chaves, definição de tarefas de transformação e monitoramento da operação dessas tarefas, reorganização de dados em um formato colunar, configuração de controle de acesso, utilização de machine learning para identificar duplicidades aproximadas e registros correspondentes em vários conjuntos de dados, concessão de acesso a conjuntos de dados e auditoria de acesso ao longo do tempo.
Criar um data lake com o AWS Lake Formation é muito simples: basta definir a localização dos dados e quais políticas de acesso e segurança de dados serão aplicadas. O AWS Lake Formation coleta e cataloga dados dos bancos de dados e do armazenamento de objetos, move os dados para o novo data lake do Amazon S3, limpa e classifica os dados usando algoritmos de machine learning e protege o acesso aos dados confidenciais. Os usuários podem acessar um catálogo centralizado de dados que descreve os conjuntos de dados disponíveis e seu uso adequado. Assim, os usuários utilizam esses conjuntos de dados com seus serviços analíticos e de machine learning preferidos, como o Amazon EMR for Apache Spark, Amazon Redshift Spectrum e Amazon Athena.
O AWS Lake Formation está disponível nas regiões da AWS Leste dos EUA (Norte da Virgínia), Leste dos EUA (Ohio), Oeste dos EUA (Oregon), UE (Irlanda) e Ásia-Pacífico (Tóquio). Para ver todas as regiões nas quais o AWS Lake Formation está disponível, acesse a página de regiões da AWS. Comece a usar o AWS Lake Formation acessando o console do AWS Lake Formation.