Publié le: Nov 24, 2021
EMR Studio est un environnement de développement intégré (IDE) qui permet aux scientifiques et ingénieurs des données de facilement développer, visualiser et déboguer les applications de big data et d'analytique écrites en R, Python, Scala et PySpark. Aujourd'hui, nous sommes ravis de présenter deux nouvelles fonctionnalités dans EMR Studio. Tout d'abord, vous pouvez désormais plus facilement exécuter des scripts python directement depuis les blocs-notes EMR Studio. Deuxièmement, vous pouvez exécuter d'autres blocs-notes Jupyter dépendants directement depuis un bloc-notes dans EMR Studio. Auparavant, ces deux manipulations nécessitaient de copier manuellement ces fichiers depuis EMR Studio vers le cluster EMR.
Un Workspace EMR Studio offre une instance Jupyter sans serveur entièrement gérée dans le cloud avec un système de fichiers local dans lequel vous pouvez écrire, stocker et organiser vos blocs-notes et fichiers. Les scientifiques des données ont souvent des scripts python et des blocs-notes devant être invoqués depuis d'autres blocs-notes. Par ex., un script python effectuant des contrôles de qualité sur les données génériques peut être utilisé sur plusieurs blocs-notes. Auparavant, il vous fallait copier manuellement ces fichiers depuis le stockage local d'un Workspace EMR Studio vers le cluster, pour pouvoir les exécuter. Désormais, vous pouvez utiliser la commande magique Jupyter %mount_workspace_dir pour monter votre répertoire de Workspace EMR Studio dans un cluster EMR. Cela permet aux blocs-notes exécutant des clusters EMR d'exécuter des fichiers python, ou d'invoquer d'autres blocs-notes dans votre Workspace local, sans avoir à copier manuellement ces fichiers ou se connecter au cluster. En outre, nous avons également ajouté une commande - %generate_s3_download_url pour télécharger des fichiers d'Amazon S3. Vous pouvez utiliser cette fonctionnalité pour télécharger un fichier de données d'un bloc-notes afin de l'analyser localement et par ex., l'analyser davantage dans Excel. Sans elle, il vous fallait accéder à la console Amazon S3 pour télécharger les fichiers de votre compartiment S3. Les deux commandes magiques Jupyter indiquées ci-dessus sont disponibles dans le package EMR Notebooks iPython Magics.
EMR Studio est disponible dans les régions suivantes : USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Oregon), Canada (Centre), EU (Irlande), EU (Francfort), EU (Londres), EU (Paris), EU (Stockholm), Asie-Pacifique (Mumbai), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo) et Amérique du Sud (Sao Paulo).