Publicado: Jul 21, 2022
Temos o prazer de lançar dois novos recursos que ajudam a aplicar controles de acesso com o Amazon EMR em clusters do EC2 (clusters do EMR). Esses recursos são compatíveis com trabalhos enviados ao cluster usando a API Steps do EMR. O primeiro recurso é o perfil de tempo de execução com etapas do EMR. Um perfil de tempo de execução é um perfil do AWS Identity and Access Management (IAM) que você associa a uma etapa do EMR. Uma etapa do EMR usa esse perfil para acessar recursos da AWS. O segundo é a integração com o AWS Lake Formation para aplicar controles de acesso por tabela e coluna a trabalhos do Apache Spark e Apache Hive com etapas do EMR.
Antes, todos os trabalhos executados em clusters do EMR usavam o perfil do IAM associado às instâncias do EC2 do cluster do EMR para acessar os recursos. Esse perfil era chamado de perfil de instância do EC2 do EMR. Por exemplo, se um trabalho do Spark e um trabalho do Hive executados no mesmo cluster precisavam acessar buckets do S3 diferentes, o perfil de instância tinha de permitir acesso aos dois buckets. Com o perfil de tempo de execução para etapas do EMR, você especifica um perfil do IAM diferente para o trabalho do Spark e do Hive, reduzindo a abrangência do escopo para o trabalho. Dessa forma, você pode simplificar controles de acesso em um único cluster do EMR compartilhado entre vários locatários, que são mantidos isolados usando perfis do IAM.
Além disso, você pode usar o AWS Lake Formation para aplicar permissões por tabela e coluna com trabalhos do Apache Spark e Apache Hive enviados como etapas do EMR. O AWS Lake Formation é um serviço totalmente gerenciado que facilita a criação, a proteção e o gerenciamento de data lakes. O AWS Lake Formation permite aplicar controle de acesso detalhado a dados armazenados em data lakes usando um mecanismo simples de concessão ou revogação, de forma semelhante a um sistema de gerenciamento de banco de dados relacional (RDMBS). Com esse recurso, permissões por tabela e coluna definidas no AWS Lake Formation para um perfil do IAM são aplicadas de forma transparente com trabalhos do Apache Hive e Apache Spark enviados como etapas do EMR. Assim, você pode simplificar ainda mais os controles de acesso e permitir que cada trabalho acesse bancos de dados, tabelas e colunas específicos.
Os dois recursos estão disponíveis com o Amazon EMR versão 6.7. Consulte a disponibilidade regional do Amazon EMR e as notas de versão para obter mais detalhes.