Publicado: Sep 26, 2023
O Amazon EMR Sem Servidor é uma opção que usa tecnologia sem servidor para ajudar a execução de estruturas de análises de big data de código aberto por analistas e engenheiros de dados, como Apache Spark e Apache Hive, sem necessidade de configurar, gerenciar e escalar clusters ou servidores. Temos o prazer de anunciar que, a partir de hoje, você pode definir as configurações padrão no nível da aplicação, permitindo manter configurações consistentes para todos os trabalhos do Spark e do Hive enviados sob a mesma aplicação.
Esse novo atributo permite definir configurações padrão para todos os trabalhos em uma aplicação para ajudar a padronizar o comportamento do trabalho. Essas configurações, que incluem memória, núcleos do executor/driver, localização do S3 para armazenamento de logs, recuperação de segredos do AWS Secrets Manager e muito mais, são aplicadas automaticamente a todos os trabalhos criados na aplicação, ao mesmo tempo em que oferecem flexibilidade para personalizar configurações para execuções de trabalhos específicos. Por exemplo, você pode especificar credenciais para bancos de dados externos do metastore Hive juntamente com os segredos na configuração da aplicação, e essas configurações padrão serão herdadas por qualquer trabalho executado nessa aplicação. Essa abordagem centralizada torna as configurações mais previsíveis e os trabalhos mais reproduzíveis.
Esse recurso está disponível no EMR versão 6.6.0 e superior nas regiões que oferecem o Amazon EMR Sem Servidor. Para saber mais, consulte a documentação.