Ponga en marcha cargas de trabajo interactivas en Amazon EMR en EC2 con Spark Connect
Amazon EMR en EC2 ahora admite sesiones interactivas de Apache Spark con Spark Connect. Los ingenieros de datos y los científicos de datos pueden desarrollar y depurar aplicaciones de Apache Spark de forma interactiva a partir de libretas administradas en Amazon SageMaker Unified Studio y sus propios IDE, como Jupyter y Visual Studio Code, y cada sesión se ejecuta en un EMR dedicado en clústeres de EC2. También puede supervisar y depurar las sesiones activas y finalizadas en la consola de EMR.
Una sesión interactiva proporciona un contexto de Spark persistente que se extiende a través de celdas y scripts, lo que le permite combinar la ejecución local de código Python con las operaciones remotas de Spark. La arquitectura cliente-servidor de Spark Connect desacopla el cliente de la aplicación del controlador de Spark y le permite mantener su entorno de desarrollo y sus herramientas preferidos mientras la infraestructura de Spark se ejecuta en el clúster. Esta arquitectura admite los flujos de trabajo, incluida la exploración de datos ad hoc, la depuración iterativa paso a paso y el desarrollo incremental de trabajos de PySpark antes de la implementación en producción. Para la observabilidad, puedes monitorear las sesiones en tiempo real a través de la interfaz de usuario de Spark, rastrear el historial a través del servidor de historial de Spark y administrar las sesiones desde la consola EMR o API/CLI/SDK.
Interactive Sessions está disponible en Amazon EMR en EC2 con la versión ejecutable de AWS para Apache Spark (emr-spark-8.0) y versiones posteriores, en todas las regiones de AWS en las que Amazon EMR está disponible, excepto las regiones de AWS GovCloud y las regiones de China. La experiencia Amazon SageMaker Unified Studio está disponible en las regiones compatibles. Para empezar, consulte la guía de las sesiones interactivas con Spark Connect o la guía de introducción a Amazon SageMaker Unified Studio.