Esegui carichi di lavoro interattivi su Amazon EMR serverless con Spark Connect
Amazon EMR serverless ora supporta le sessioni interattive con Spark Connect, consentendoti di sviluppare ed eseguire applicazioni Apache Spark da notebook gestiti in Amazon SageMaker Unified Studio, nonché nei tuoi ambienti notebook e IDE preferiti, come Jupyter e Visual Studio Code. Puoi inoltre monitorare ed eseguire il debug delle sessioni attive e completate nella console EMR, ottenendo una visibilità granulare sui costi e sull'utilizzo di ogni singola sessione.
Una sessione interattiva offre un contesto Spark persistente che si estende in modo fluido tra celle e script, consentendoti di combinare l'esecuzione di codice Python locale con le operazioni Spark remote all'interno di un ambiente unificato. Ciò è reso possibile dall'architettura client-server di Spark Connect, che disaccoppia il client applicativo dal driver Spark e consente di mantenere l'ambiente e gli strumenti di sviluppo preferiti, mentre l'infrastruttura Spark opera in modo indipendente su EMR serverless. Questa architettura abilita flussi di lavoro quali l'esplorazione dei dati ad hoc, il debug iterativo passo dopo passo e lo sviluppo incrementale dei job PySpark prima della distribuzione in produzione. Per l'osservabilità, puoi usufruire del monitoraggio delle sessioni in tempo reale tramite Spark UI, della cronologia delle attività tramite Spark History Server e della gestione delle sessioni dalla console EMR o tramite API/CLI/SDK.
Spark Connect su Amazon EMR serverless è disponibile con la release EMR 7.13 in tutte le regioni AWS in cui Amazon EMR serverless è disponibile. L'esperienza SageMaker Unified Studio è disponibile nelle regioni supportate. Per iniziare, consulta la Guida per l'utente alle sessioni interattive di EMR serverless o la Guida introduttiva di Amazon SageMaker Unified Studio.