O AWS Lake Formation estende as permissões da tabela para acessar dados subjacentes no Amazon S3
Agora, o AWS Lake Formation permite que você leia e grave os arquivos de dados subjacentes no Amazon S3 para tabelas registradas no catálogo de dados do AWS Glue. Isso fornece um único conjunto de permissões para consultas SQL e acesso direto a arquivos usando suas concessões de tabela existentes do Lake Formation.
Com esse lançamento, o Lake Formation fornece credenciais temporárias com escopo definido para locais registrados no S3 com base nas permissões da sua tabela. As permissões SELECT concedem acesso de leitura e as permissões SUPER concedem acesso de leitura e gravação aos dados nesse local. Esse recurso vem integrado com o Amazon EMR 7.13 ou posterior. Como resultado, você pode acessar arquivos de dados diretamente de suas tarefas do Spark para tarefas que exigem acesso em nível de arquivo, como treinamento de modelos, engenharia de atributos ou depuração de problemas de qualidade de dados.
Você também pode integrar seus aplicativos Apache Spark ou Trino usando APIs ou por meio de um plug-in de código aberto fornecido pela AWS. Além disso, todo o acesso é registrado no AWS CloudTrail para fornecer uma trilha de auditoria unificada em operações SQL e baseadas em arquivos em suas tabelas.
Esse recurso é oferecido sem custo adicional em todas as regiões da AWS em que o AWS Lake Formation está disponível. Para saber mais, consulte a documentação do Lake Formation, a documentação do EMR, a referência da API e o plug-in de código aberto.