Exécutez des charges de travail interactives sur Amazon EMR sur EC2 avec Spark Connect
Amazon EMR sur EC2 prend désormais en charge les sessions interactives Apache Spark avec Spark Connect. Les ingénieurs et les scientifiques des données peuvent développer et déboguer des applications Apache Spark de manière interactive à partir de blocs-notes gérés dans Amazon SageMaker Unified Studio et de leurs propres IDE, tels que Jupyter et Visual Studio Code, chaque session étant exécutée sur un EMR dédié sur des clusters EC2. Vous pouvez également surveiller et déboguer les sessions actives et terminées dans la console EMR.
Une session interactive fournit un contexte Spark persistant qui s’étend sur plusieurs cellules et plusieurs scripts, ce qui vous permet de combiner l’exécution de code Python local avec des opérations Spark à distance. L’architecture client-serveur de Spark Connect dissocie votre client d’application du pilote Spark et vous permet de conserver votre environnement de développement et vos outils préférés tandis que l’infrastructure Spark s’exécute sur le cluster. Cette architecture prend en charge les flux de travail, notamment l’exploration ad hoc des données, le débogage itératif étape par étape et le développement incrémentiel de tâches PySpark avant le déploiement en production. Pour des raisons d’observabilité, vous bénéficiez d’une surveillance des sessions en temps réel via l’interface utilisateur Spark, d’un suivi de l’historique via le serveur d’historique Spark et d’une gestion des sessions depuis la console EMR ou l’API/CLI/SDK.
Les sessions interactives sont disponibles sur Amazon EMR sur EC2 avec AWS Runtime pour Apache Spark (emr-spark-8.0) et versions ultérieures, dans toutes les Régions AWS où Amazon EMR est disponible, à l’exception des Régions AWS GovCloud et Chine. L’expérience Amazon SageMaker Unified Studio est disponible dans les régions prises en charge. Pour commencer, consultez le guide Sessions interactives avec Spark Connect ou le Guide de démarrage d’Amazon SageMaker Unified Studio.