Publicado en: Jun 13, 2023
Nos complace anunciar la posibilidad de controlar la rotación de los registros de contenedores al ejecutar trabajos de Apache Spark en EMR en EKS. Amazon EMR en EKS permite que los clientes ejecuten marcos de macrodatos de código abierto, como Apache Spark en Amazon EKS. Los clientes ahora pueden habilitar la rotación de registros de contenedores para evitar que el exceso de archivos de registro afecte a la ejecución del pod.
En el caso de trabajos de Spark de larga duración, como las transmisiones de Spark, los clientes pueden tener problemas de poco espacio en disco que pueden provocar una degradación del rendimiento o errores en el trabajo, y pueden verse obligados a eliminar manualmente los registros de los pods de Kubernetes. Con esta versión, los clientes ahora pueden habilitar la rotación de registros de contenedores y personalizar el número de archivos de registros que se guardarán en los pods del controlador/ejecutor de Spark, incluida la configuración del tamaño máximo de cada archivo de registro.
Para obtener más información sobre la rotación de registros de contenedores, visite la sección Rotación de registros de contenedores de nuestra documentación. La rotación de registros de contenedores para Apache Spark se admite en Amazon EMR en la versión 6.11 y posteriores, y está disponible en las regiones en las que Amazon EMR en EKS está disponible actualmente.