Publicado: Jul 27, 2023
Temos o prazer de anunciar que, a partir de hoje, você pode recuperar segredos do AWS Secrets Manager no Amazon EMR Sem Servidor em trabalhos do Spark e Hive. O Amazon EMR Sem Servidor é uma opção que usa tecnologia sem servidor para facilitar a execução de estruturas de análises de big data de código aberto por analistas e engenheiros de dados, como Apache Spark e Apache Hive, sem necessidade de configurar, gerenciar e escalar clusters ou servidores.
Geralmente, as tarefas do Spark ou do Hive precisam acessar informações confidenciais, como credenciais de banco de dados e chaves de API, para se conectar a outros sistemas. É uma boa prática dissociar o gerenciamento dessas informações confidenciais da configuração da aplicação para melhorar a reutilização do código e reduzir a sobrecarga operacional da atualização da configuração de aplicações para alterar segredos. Agora, você pode especificar com segurança referências a segredos armazenados no Secrets Manager como parte das configurações ou classificações de trabalhos do EMR Sem Servidor. Durante o runtime, essas referências serão substituídas pelos valores dos segredos. Esse recurso é especialmente útil para casos de uso que precisam especificar credenciais para bancos de dados de metastore externos do Hive na configuração da aplicação.
Esse recurso está disponível para todas as versões de lançamento do EMR e em todas as regiões onde o Amazon EMR Sem Servidor está disponível. Para saber mais e ver exemplos de como especificar referências para segredos, consulte a documentação sobre como usar o Secrets Manager no EMR Sem Servidor.