Publicado: Apr 1, 2024
Temos o prazer de apresentar um novo recurso do Amazon EMR no EC2 que permite a substituição automática e ordenada de nós centrais com problemas de integridade para garantir a continuidade das operações otimizadas do cluster e evitar a perda de dados. Além disso, o EMR no EC2 publicará eventos do CloudWatch para oferecer visibilidade sobre a integridade dos nós e as ações de recuperação. Essas melhorias estão disponíveis para todas as versões do Amazon EMR.
Com o EMR no EC2, você pode provisionar e escalar facilmente clusters de processamento de dados sem precisar gerenciar a infraestrutura de computação ou a configuração de aplicações de código aberto. No entanto, pode ocorrer que um nó do EMR perca a integridade devido a um problema de superutilização do hardware ou memória subjacente. Anteriormente, para clusters protegidos contra encerramento, os nós centrais com problemas de integridade permaneciam ociosos e continuavam sendo considerados na capacidade do cluster. Para outros clusters, o processo de substituição de nós centrais não ocorria de forma ordenada. Com o lançamento de hoje, o Amazon EMR minimiza interrupções do trabalho e evita a perda de dados com a desativação ordenada e substituição de nós centrais com problemas de integridade, independentemente da configuração de proteção contra encerramento do cluster. Além disso, o Amazon EMR publicará eventos de substituição de nós com problemas de integridade. Os eventos estarão disponíveis no console do EMR e no Amazon EventBridge.
A substituição ordenada de nós centrais com problemas de integridade está disponível para o público em geral em todas as regiões da AWS que oferecem o Amazon EMR no EC2.
Para garantir que esse lançamento não afete fluxos de trabalho existentes, a substituição de nós com problemas de integridade será desativada por padrão em clusters que executam o EMR 7.0.0 e versões anteriores que ativaram a proteção contra encerramento. Para todos os outros clusters, ativaremos esse recurso por padrão. Para saber mais, consulte como substituir nós com problemas de integridade.