Atualize dinamicamente clusters EMR em execução com a reconfiguração de frotas de instâncias
Agora, o Amazon EMR no EC2 oferece suporte à atualização em tempo real de configurações de aplicações para frotas de instâncias do EMR sem exigir o encerramento ou a reinicialização do cluster. Com esse recurso, os clientes já podem ajustar as configurações da aplicação, como a memória do executor do Spark, a alocação de recursos do YARN e as configurações do HDFS, de forma dinâmica e integrada em clusters em execução, minimizando as interrupções de workloads. Isso é particularmente útil no ajuste da alocação de recursos e das aplicações para cumprir requisitos de processamento de dados e performance do trabalho, além de garantir a utilização ideal dos recursos.
O Amazon EMR é a plataforma de big data em nuvem líder do setor para processamento de dados, análise interativa e machine learning usando estruturas de código aberto, como Apache Spark, Apache Flink e Trino. Anteriormente, era necessário encerrar e reiniciar clusters de frotas de instâncias com as novas configurações. Esse processo resultava em tempo de inatividade, aumento do esforço operacional e atrasos nos ajustes de fluxos de trabalho. Com o suporte à reconfiguração, o EMR aplica as configurações atualizadas nos nós do cluster de forma dinâmica e contínua, garantindo a estabilidade dos clusters e a disponibilidade de recursos. Além disso, notifica os clientes por meio de eventos do Amazon CloudWatch e do EMR. No caso de falha ou atualização incompatível, o EMR reverte as alterações para garantir que o cluster permaneça operacional. Você pode continuar executando workloads no cluster durante o processo de atualização.
Você pode utilizar esse recurso em todas as versões do EMR 5.21 e posteriores usando a CLI ou a API da AWS. Esse recurso está disponível em todas as regiões da AWS, incluindo as regiões AWS GovCloud (EUA), que oferecem o Amazon EMR no EC2. Para saber mais, consulte a documentação aqui.