Publicado: Jun 19, 2023
Temos o prazer de anunciar a adição do Volcano e do Apache Yunikorn como agendadores de tarefas quando o EMR no EKS é executado usando o operador Spark e o spark-submit. O Amazon EMR no EKS permite aos clientes executar estruturas de big data de código aberto, como o Apache Spark, no Amazon EKS. O uso de um agendador de tarefas personalizado para trabalhos do Spark permite um gerenciamento de capacidade detalhado e um provisionamento mais rápido de pods em grande escala.
O agendador padrão do Kubernetes gerencia o posicionamento de pods individuais, mantendo restrições como capacidade disponível, solicitações e limites de recursos e afinidade de nós. No entanto, ele não oferece suporte ao agendamento com base em trabalhos. Com esse novo recurso, os clientes têm a opção de usar o Apache Yunikorn e o Volcano para agendar trabalhos de EMR no EKS Spark com o operador Spark e o spark-submit. Os clientes podem aproveitar recursos como agendamento de grupos, gerenciamento de filas, preempção e agendamento por compartilhamento justo nesses agendadores, o que ajuda a oferecer alto throughput de agendamento e capacidade otimizada.
Para saber mais sobre esse recurso, acesse a seção de agendamento de trabalhos personalizado da documentação. O Volcano e o Apache Yunikorn, como agendadores personalizado do Kubernetes, são compatíveis com o Amazon EMR na versão EKS 6.11 e superior e estão disponíveis nas regiões em que o Amazon EMR no EKS é oferecido atualmente.