Publicado: Dec 22, 2023
Agora, o Amazon EMR Sem Servidor oferece suporte ao AWS Lake Formation para controle detalhado de acesso a dados com o Apache Spark. O novo recurso permite que você aplique políticas ao nível de banco de dados, tabela, coluna, linha e célula para dados armazenados no Amazon S3 e acessados de trabalhos do Spark no EMR Sem Servidor. As políticas que você define no Lake Formation entram em vigor quando você executa aplicações Spark usando o EMR Studio, a AWS CLI ou orquestradores de trabalhos, como o Amazon Managed Workflows for Apache Airflow e o AWS Step Functions.
O Lake Formation simplifica a criação, a proteção e o gerenciamento de data lakes. Ele permite que você defina controles de acesso detalhados por meio de declarações de concessão e revogação, semelhantes às usadas com sistemas de gerenciamento de banco de dados relacionais (RDBMS), e aplique automaticamente essas políticas por meio de mecanismos compatíveis, como Athena, EMR no EC2 e Redshift Spectrum. Com o lançamento de hoje, as mesmas regras do Lake Formation que você configura para uso em outros serviços, como o Athena, se aplicam aos trabalhos do Spark no EMR Sem Servidor, simplificando ainda mais a segurança e a governança de data lakes.
O controle de acesso detalhado com o Apache Spark no EMR Sem Servidor (pré-visualização) está disponível para o público em geral com a versão EMR 6.15 nas regiões Ásia-Pacífico (Mumbai, Seul, Singapura, Sydney, Tóquio), Canadá (Central), Europa (Frankfurt, Irlanda, Londres, Paris, Estocolmo), América do Sul (São Paulo), Leste dos EUA (Norte da Virgínia, Ohio) e Oeste dos EUA (Norte da Califórnia, Oregon). Para começar a usar, consulte Using AWS Lake Formation with Amazon EMR Serverless.