Publicado: Nov 4, 2022
Temos o prazer de anunciar a disponibilidade geral de modelos de trabalho no Amazon EMR no EKS. Os modelos de trabalho permitem criar e armazenar modelos para configurar parâmetros de aplicações do Spark. Esse recurso ajuda a garantir configurações consistentes entre aplicações, reutilizando e aplicando substituições de configuração em pipelines de dados.
O EMR no EKS aplica configurações padrão do Spark para otimizar a performance de aplicações quando os clientes usam a API StartJobRun para executar aplicações e pipelines de dados baseados no Spark. Com os modelos de trabalho, os engenheiros de dados já podem definir modelos reutilizáveis para aplicar personalizações adicionais, configurando a capacidade computacional de executores e drivers; definindo propriedades de segurança e governança, como perfis do IAM; e imagens do Docker personalizadas para uso em várias aplicações e pipelines de dados. Além disso, os clientes podem aplicar valores de configuração específicos para evitar substituições quando chamam a API StartJobRun usando o modelo. Opcionalmente, é possível criptografar os modelos de trabalho com chaves-mestre gerenciadas pelo cliente e armazenadas no AWS Key Management Service.
Os modelos de trabalho já estão disponíveis em todas as regiões da AWS em que o recurso EMR no EKS foi lançado. Para saber mais sobre como usar modelos de trabalho, consulte a documentação.