Las sesiones interactivas de AWS Glue ahora son compatibles con Spark Connect para cargas de trabajo interactivas
Las sesiones interactivas de AWS Glue ahora son compatibles con Apache Spark Connect, con el que ahora puede desarrollar y poner en marcha aplicaciones de Apache Spark desde su entorno preferido, incluidos los cuadernos administrados en Amazon SageMaker Unified Studio o sus entornos de cuadernos e IDE preferidos, como Jupyter y Visual Studio Code, mientras los pone en marcha en la infraestructura sin servidores de AWS Glue sin administrar clústeres.
Con Spark Connect, envía los trabajos de Spark a las sesiones interactivas de AWS Glue mediante una arquitectura del cliente ligero que desacopla la aplicación cliente del entorno de ejecución de Spark. Esto desbloquea los flujos de trabajo, como la exploración de datos ad hoc, la depuración iterativa paso a paso y el desarrollo progresivo de trabajos de PySpark antes del despliegue en producción, todo desde las herramientas que ya utiliza. Spark Connect también simplifica las actualizaciones y mejora la estabilidad al aislar las dependencias del cliente de la versión ejecutable de Spark del lado del servidor. Para la observabilidad, puede supervisar las sesiones en tiempo real por medio de la interfaz de usuario de Spark, hacer un seguimiento del historial por medio del servidor de historial de Spark y administrar las sesiones por medio de la API, la CLI o el SDK de AWS Glue.
Las sesiones interactivas de AWS Glue con Spark Connect están disponibles en Asia-Pacífico (Bombay, Seúl, Singapur, Sídney, Tokio), Canadá (centro), Europa (Fráncfort, Irlanda, Londres, París, Estocolmo), América del Sur (São Paulo), este de EE. UU. (Ohio, norte de Virginia) y oeste de EE. UU. (Oregón).
Para empezar, conéctese a las sesiones interactivas de Glue mediante Spark Connect desde los blocs de nota de Amazon SageMaker Unified Studio, su IDE favorito con un intérprete de Python o la API, el SDK y la CLI de AWS. Para obtener más información, consulte la documentación de las sesiones interactivas de AWS Glue.