O Amazon EMR no EKS agora oferece suporte a controles de simultaneidade de execução de tarefas
O Amazon EMR no EKS permite que você execute estruturas de big data de código aberto, como Apache Spark e Flink, em clusters do AWS EKS (Elastic Kubernetes Service). Você envia trabalhos para um cluster virtual, que mapeia para um namespace em um cluster EKS, e o EMR no EKS lida com o empacotamento, o agendamento e a execução de seus aplicativos. Hoje, temos o prazer de anunciar o controle de admissão de execuções de tarefas no EMR EKS com suporte para sinais de simultaneidade e contrapressão de execução de tarefas da API StartJobRun.
Com esse lançamento, agora você pode definir limites de tarefas simultâneas em um cluster virtual, oferecendo controle detalhado sobre quantas execuções de tarefas são executadas ao mesmo tempo e quantas podem esperar na fila. Essa é uma fila lógica que representa trabalhos no estado PENDENTE/ENVIADO. Esses controles ajudam a proteger os clusters do EKS compartilhados de serem sobrecarregados em ambientes compartilhados de vários locatários e evitam falhas de agendamento ruidosas de vizinhos, para que suas workloads críticas continuem funcionando de forma previsível mesmo sob alta demanda. Você configura dois limites opcionais em um cluster virtual: maxConcurrentJobRuns, o número máximo de trabalhos em execução a qualquer momento, e maxInqueueJobruns, a profundidade máxima da fila para execuções de trabalhos que o EMR no EKS aceitou, mas ainda não começou a executar. Quando a fila está cheia, StartJobRun retorna uma HTTP ValidationException, para que você possa transferir ou redirecionar o tráfego para outro cluster sem sobrecarregar um único cluster. Você pode visualizar os limites atuais e as contagens de trabalhos em tempo real a qualquer momento com o DescribeVirtualCluster. Nenhum limite é aplicado por padrão, portanto, as workloads existentes não são afetadas até que você opte por participar.
Limites de trabalho simultâneos estão disponíveis em todas as regiões da AWS em que o EMR no EKS é oferecido. Para começar a usar, consulte Gerenciamento de clusters virtuais.