Exécutez des charges de travail interactives sur Amazon EMR sans serveur avec Spark Connect
Amazon EMR sans serveur prend désormais en charge les sessions interactives avec Spark Connect, ce qui vous permet de développer et d’exécuter des applications Apache Spark à partir de blocs-notes gérés dans Amazon SageMaker Unified Studio, ainsi que de vos environnements de blocs-notes et IDE préférés tels que Jupyter et Visual Studio Code. Vous pouvez également surveiller et déboguer les sessions actives et terminées dans la console EMR, et bénéficier d’une visibilité granulaire des coûts et de l’utilisation pour les sessions individuelles.
Une session interactive fournit un contexte Spark persistant, qui s’étend de manière fluide à toutes les cellules et à tous les scripts, ce qui vous permet de combiner l’exécution de code Python locale avec les opérations Spark à distance au sein d’un environnement unifié. Ceci est rendu possible par l’architecture client-serveur de Spark Connect, qui dissocie votre client d’application du pilote Spark et vous permet de conserver votre environnement de développement et vos outils préférés tandis que l’infrastructure Spark s’exécute indépendamment sur EMR sans serveur. Cette architecture débloque les flux de travail, notamment l’exploration ad hoc des données, le débogage itératif étape par étape et le développement incrémentiel de tâches PySpark avant le déploiement en production. Pour des raisons d’observabilité, vous bénéficiez d’une surveillance des sessions en temps réel via l’interface utilisateur Spark, d’un suivi de l’historique via le serveur d’historique Spark et d’une gestion des sessions depuis la console EMR ou l’API/CLI/SDK.
Spark Connect sur Amazon EMR sans serveur est disponible avec la version 7.13 d’EMR dans toutes les Régions AWS où Amazon EMR sans serveur est disponible. L’expérience SageMaker Unified Studio est disponible dans les . Pour commencer, consultez le Guide de l’utilisateur des sessions interactives sans serveur EMR ou le Guide de démarrage d’Amazon SageMaker Unified Studio.