Publicado en: Nov 24, 2021
EMR Studio es un entorno de desarrollo integrado (IDE) que facilita a los científicos e ingenieros de datos el desarrollo, la visualización y la corrección de aplicaciones de big data y análisis escritas en R, Python, Scala y PySpark. Hoy nos complace anunciar dos nuevas capacidades en EMR Studio. En primer lugar, ahora es más fácil ejecutar scripts de python directamente desde los blocs de notas de EMR Studio. En segundo lugar, es posible ejecutar otros blocs de notas Jupyter dependientes directamente desde un bloc de notas en EMR Studio. Anteriormente, ambas capacidades requerían copiar manualmente estos archivos desde EMR Studio al clúster de EMR.
Un Workspace de EMR Studio proporciona una instancia de Jupyter sin servidor completamente administrada en la nube que cuenta con un sistema de archivos local donde puede crear, almacenar y organizar sus blocs de notas y archivos. Los científicos de datos suelen tener scripts y blocs de notas en python que necesitan ser invocados desde otros blocs de notas. Por ejemplo, un script de python que realice comprobaciones genéricas de la calidad de los datos puede utilizarse en varios blocs de notas. Anteriormente, era necesario copiar manualmente estos archivos desde el almacenamiento local de EMR Studio Workspace al clúster para poder ejecutarlos. Ahora puede utilizar el comando mágico de Jupyter %mount_workspace_dir para montar el directorio de Workspace de EMR Studio en un clúster de EMR. Esto hace posible que los blocs de notas que se ejecutan en los clústeres de EMR ejecuten archivos python o invoquen otros blocs de notas en el Workspace local sin tener que copiar manualmente estos archivos o iniciar sesión en el clúster. Además, también hemos agregado un comando - %generate_s3_download_url para descargar archivos de Amazon S3. Puede utilizar esta capacidad para descargar un archivo de datos de un bloc de notas con el fin de analizarlo localmente, p. ej., para analizarlo posteriormente en Excel. Sin esta capacidad, había que navegar por la consola de Amazon S3 para descargar archivos del bucket de S3. Ambos comandos mágicos de Jupyter están disponibles en el paquete EMR Notebooks iPython Magics.
EMR Studio se encuentra disponible en las regiones Oeste de EE. UU. (Oregón), Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Canadá (Central), Europa (Irlanda), Europa (Fráncfort), Europa (Londres), Europa (París), Europa (Estocolmo), Asia-Pacífico (Mumbai), Asia-Pacífico (Seúl), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney), Asia-Pacífico (Tokio) y América del Sur (São Paulo).