Amazon EMR en EKS ahora admite los controles de simultaneidad de ejecución de trabajos
Amazon EMR en EKS le permite ejecutar marcos de macrodatos de código abierto, como Apache Spark y Flink, en clústeres de AWS EKS (Elastic Kubernetes Service). Usted envía los trabajos a un clúster virtual, que se asigna a un espacio de nombres en un clúster de EKS, y EMR en EKS se encarga del empaquetado, la programación y la ejecución de las aplicaciones. Hoy, nos complace anunciar el control de admisión de ejecuciones de trabajos de EMR en EKS, con compatibilidad con la ejecución simultánea de trabajos y las señales de contrapresión de la API StartJobRun.
Con este lanzamiento, ahora puede establecer límites de trabajos simultáneos en un clúster virtual, lo que le brinda un control detallado sobre cuántos trabajos se ejecutan a la vez y cuántos pueden esperar en la cola. Se trata de una cola lógica que representa los trabajos en estado PENDING/SUBMITTED (PENDIENTE/ENVIADO). Estos controles lo ayudan a evitar la sobrecarga de los clústeres de EKS compartidos en entornos con múltiples inquilinos y los errores de programación provocados por vecinos ruidosos, de modo que sus cargas de trabajo críticas continúen ejecutándose de manera predecible incluso durante períodos de alta demanda. Puede configurar dos límites opcionales en un clúster virtual: maxConcurrentJobRuns, la cantidad máxima de trabajos que se ejecutan en cualquier momento, y maxInQueueJobRuns, la profundidad máxima de cola para las ejecuciones de trabajos que EMR en EKS ha aceptado, pero que aún no ha empezado a ejecutarse. Cuando la cola está completa, la API StartJobRun devuelve una excepción HTTP ValidationException, de este modo, puede descartar o redirigir el tráfico de forma controlada a otro clúster en lugar de sobrecargar uno solo. Puede ver los límites actuales y los recuentos de trabajos activos en cualquier momento con DescribeVirtualCluster. No se aplican límites de forma predeterminada, por lo que las cargas de trabajo existentes no se ven afectadas hasta que decida habilitarlos.
Los límites de trabajos simultáneos están disponibles en todas las regiones de AWS en las que se ofrece EMR en EKS. Para empezar, consulte Administración de clústeres virtuales.