Publicado en: Jun 19, 2023
Nos complace anunciar la incorporación de Volcano y Apache Yunikorn como programadores de tareas al ejecutar EMR en EKS mediante el operador Spark y spark-submit. Amazon EMR en EKS permite que los clientes ejecuten marcos de macrodatos de código abierto, como Apache Spark en Amazon EKS. El uso de un programador de tareas personalizado para los trabajos de Spark permite una administración de la capacidad detallada y un aprovisionamiento más rápido de los pods a escala.
El programador predeterminado de Kubernetes administra la ubicación de los pods individuales y, al mismo tiempo, mantiene las restricciones, como la capacidad disponible, las solicitudes y los límites de recursos y la afinidad de los nodos. Sin embargo, no admite la programación basada en trabajos. Con esta nueva característica, los clientes tienen la opción de usar Apache Yunikorn y Volcano para programar tareas de EMR en EKS Spark con el operador de Spark y spark-submit. Los clientes pueden aprovechar características como la programación por grupos, la administración de colas, la prelación y la programación equitativa en estos programadores. Todo esto ayuda a ofrecer un alto rendimiento de programación y una capacidad optimizada.
Para obtener más información sobre esta característica, visite la sección de programación de trabajos personalizada de nuestra documentación. Volcano y Apache Yunikorn, los programadores personalizados de Kubernetes, son compatibles con Amazon EMR en la versión 6.11 y versiones posteriores, y están disponibles en las regiones en las que Amazon EMR en EKS está disponible actualmente.