Veröffentlicht am: Nov 24, 2021
EMR Studio ist eine integrierte Entwicklungsumgebung (IDE), die es Datenwissenschaftlern und Dateningenieuren leicht macht, Big-Data- und Analyseanwendungen zu entwickeln, zu visualisieren und zu debuggen, die in R, Python, Scala und PySpark geschrieben wurden. Heute freuen wir uns, zwei neue Funktionen in EMR Studio ankündigen zu können. Erstens können Sie Python-Skripte jetzt einfacher direkt aus den EMR Studio-Notebooks ausführen. Zweitens können Sie andere abhängige Jupyter-Notebooks direkt von einem Notebook in EMR Studio ausführen. Zuvor mussten diese beiden Funktionen manuell von EMR Studio in den EMR-Cluster kopiert werden.
Ein EMR Studio-Workspace bietet eine vollständig verwaltete serverlose Jupyter-Instance in der Cloud, die mit einem lokalen Dateisystem ausgestattet ist, in dem Sie Ihre Notebooks und Dateien erstellen, speichern und organisieren können. Datenwissenschaftler haben oft Python-Skripte und Notebooks, die von anderen Notebooks aufgerufen werden müssen. Für z. B. ein Python-Skript, das generische Datenqualitätsprüfungen durchführt, kann er über mehrere Notebooks hinweg verwendet werden. Zuvor mussten Sie diese Dateien manuell aus dem lokalen Speicher von EMR Studio Workspace in den Cluster kopieren, um sie auszuführen. Sie können jetzt den magischen Jupyterbefehl %mount_workspace_dir verwenden, um Ihr EMR Studio Workspace-Verzeichnis in einen EMR-Cluster einzubinden. Dadurch können Notebooks, die auf EMR-Clustern ausgeführt werden, Python-Dateien ausführen oder andere Notebooks in Ihrem lokalen Workspace aufrufen, ohne diese Dateien manuell zu kopieren oder sich beim Cluster anzumelden. Darüber hinaus haben wir auch einen Befehl hinzugefügt – %generate_s3_download_url, um Dateien von Amazon S3 herunterzuladen. Sie können diese Funktion verwenden, um eine Datendatei von einem Notebook herunterzuladen, um sie lokal zu analysieren, z. B. um sie in Excel weiter zu analysieren. Ohne diese Funktion müssten Sie zur Amazon S3-Konsole navigieren, um Dateien aus Ihrem S3-Bucket herunterzuladen. Beide oben genannten magischen Jupyterbefehle werden im iPython Magics-Paket von EMR Notebooks zur Verfügung gestellt.
EMR Studio ist in den Regionen USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Kanada (Zentral), Europa (Irland), Europa (Frankfurt), Europa (London), Europa (Paris), Europa (Stockholm), Asien-Pazifik (Mumbai), Asien-Pazifik (Seoul), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio) und Südamerika (Sao Paulo) verfügbar.