Ajuste de Escala Gerenciado do Amazon EMR já reconhece o posicionamento do Application Master
Hoje, temos o prazer de anunciar um novo aprimoramento no Ajuste de Escala Gerenciado do EMR que aumenta a resiliência das aplicações e escala o cluster com base na demanda do executor e do ApplicationMasters com a adição do suporte aos rótulos de Yarn Node. Por padrão, o Amazon EMR garante que os processos que controlam os trabalhos em execução e precisam permanecer ativos por toda a vida útil do trabalho (ApplicationMasters) possam ser executados nos nós principais e nos nós de tarefas. No entanto, muitos clientes, especialmente os que usam instâncias spot para executar nós de tarefas, optam por executar o ApplicationMasters somente nos nós principais sob demanda para garantir que os trabalhos em execução não falhem quando Appplication Masters são executados em instâncias spot são interrompidas. Com o lançamento de hoje, o Ajuste de Escala Gerenciado do EMR passará a escalar clusters com base na demanda por solicitações individuais de AM ou executores, conforme definido pelos rótulos dos nós do YARN. O ajuste de escala inteligente dos clusters com base na demanda de AM ou executores aprimora a performance, a utilização e o custo.
Como parte do lançamento de hoje, com o EMR versão 7.2 e posteriores, o Amazon EMR também permitirá que você especifique expressões de rótulos de nós do YARN no nível de aplicação por tipo de mercado, ou seja, sob demanda versus spot. Anteriormente, os clientes só podiam especificar expressões de rótulos de nós do YARN no nível de tipo de nó, ou seja, principal versus tarefa. Agora, com esse novo aprimoramento, os clientes terão a flexibilidade adicional de atender às necessidades das workloads de cluster.
Esse recurso está disponível com o Amazon EMR versão 7.2 e posterior em todas as regiões da AWS que oferecem o Ajuste de Escala Gerenciado do Amazon EMR. Consulte a documentação de escalabilidade gerenciada para saber mais.