Ponga en marcha cargas de trabajo interactivas en Amazon EMR en EKS con Spark Connect
Amazon EMR en EKS ahora admite sesiones interactivas de Apache Spark con Spark Connect. Los ingenieros de datos y los científicos de datos pueden desarrollar y depurar aplicaciones de Apache Spark de forma interactiva a partir de cuadernos administrados en Amazon SageMaker Unified Studio y sus propios IDE, como Jupyter y Visual Studio Code, con Spark ejecutándose en los clústeres de Amazon EKS que ya utilizan.
Una sesión interactiva proporciona un contexto de Spark persistente que se extiende a través de celdas y scripts, lo que le permite combinar la ejecución local de código Python con las operaciones remotas de Spark. La arquitectura cliente-servidor de Spark Connect desacopla el cliente de su aplicación del controlador de Spark y le permite mantener sus herramientas y entorno de desarrollo preferidos mientras Spark se ejecuta en su clúster de Amazon EKS. Esta arquitectura admite los flujos de trabajo, incluida la exploración de datos ad hoc y el desarrollo incremental de trabajos de PySpark antes de la implementación en producción. Cada sesión se ejecuta como pods en un clúster virtual, se asegura con su rol de ejecución de AWS Identity and Access Management (IAM) y se etiqueta por proyecto y usuario.
Spark Connect en Amazon EMR en EKS está disponible con la versión 7.14 de EMR (Apache Spark 3.5) y emr-spark-8.1.0 (Apache Spark 4.1), en todas las regiones comerciales de AWS. La experiencia Amazon SageMaker Unified Studio está disponible en las regiones admitidas de AWS.
Para empezar, consulte la documentación de Spark Connect en Amazon EMR en EKS o la guía de introducción a Amazon SageMaker Unified Studio.