Publicado en: Nov 22, 2022
Nos complace anunciar la compatibilidad con la configuración de las propiedades de Spark dentro de las sesiones de cuadernos de Jupyter en EMR Studio para las cargas de trabajo interactivas de Spark. Amazon EMR en EKS permite que los clientes ejecuten marcos de macrodatos de código abierto, como Apache Spark en Amazon EKS. Los clientes de Amazon EMR en EKS configuran y utilizan un punto de conexión administrado (disponible en la versión preliminar) para ejecutar cargas de trabajo interactivas mediante integrated development environments (IDE, entornos de desarrollo integrado) como EMR Studio.
Los ingenieros y científicos de datos utilizan los cuadernos de Jupyter en EMR Studio con EMR en EKS para desarrollar, visualizar y depurar aplicaciones escritas en Python, PySpark o Scala. Gracias a este lanzamiento, ahora los clientes pueden personalizar su configuración de Spark (como la memoria/CPU de controladores y ejecutores, la cantidad de ejecutores y las dependencias de paquetes) dentro de la sesión de su cuaderno para gestionar diferentes cargas de trabajo de computación o diferentes cantidades de datos con un único punto de conexión administrado.
Para obtener más información sobre cómo aplicar diferentes configuraciones de Spark dentro de la sesión de un cuaderno, consulte nuestra documentación. La compatibilidad con las configuraciones dentro de una sesión para los puntos de conexión administrados se admite con Amazon EMR en EKS versión 6.9 y posteriores, y está disponible en todas las regiones donde Amazon EMR en EKS esté disponible actualmente.