게시된 날짜: Nov 24, 2021
EMR Studio는 데이터 사이언티스트와 데이터 엔지니어가 R, Python, Scala 및 PySpark에서 작성한 빅 데이터 및 분석 애플리케이션을 쉽게 개발, 시각화 및 디버깅할 수 있도록 지원하는 통합 개발 환경(IDE)입니다. 오늘 EMR Studio의 2가지 새로운 기능이 발표된다는 기쁜 소식을 전해드립니다. 첫째, 이제 EMR Studio 노트북에서 보다 쉽게 Python 스크립트를 직접 실행할 수 있습니다. 둘째, EMR Studio의 노트북에서 다른 종속 Jupyter 노트북을 직접 실행할 수 있습니다. 이전에는 이 2가지 기능과 같은 작업을 하려면 파일을 EMR Studio에서 EMR 클러스터로 수동 복사해야 했습니다.
EMR Studio Workspace는 완전관리형 서버리스 Jupyter 인스턴스를 클라우드에서 제공하며 함께 제공되는 로컬 파일 시스템에서 노트북과 파일을 작성, 저장, 구성할 수 있습니다. 데이터 사이언티스트는 다른 노트북에서 호출해야 하는 Python 스크립트와 노트북을 갖고 있는 경우가 많습니다. 예를 들어 일반적인 데이터 품질 검사를 수행하는 Python 스크립트는 여러 노트북에서 사용할 수 있습니다. 이전에는 이러한 파일을 EMR Studio Workspace의 로컬 스토리지에서 클러스터로 수동 복사하여 실행해야 했습니다. 이제 %mount_workspace_dir Jupyter 매직 명령을 사용하여 EMR Studio Workspace 디렉터리를 EMR 클러스터에 탑재할 수 있습니다. 이를 통해 파일을 수동으로 복사하거나 클러스터에 로그인하지 않고도 EMR 클러스터에서 실행되는 노트북이 로컬 Workspace에서 Python 파일을 실행하거나 다른 노트북을 호출할 수 있습니다. 또한 Amazon S3에서 파일을 다운로드하는 %generate_s3_download_url 명령도 추가했습니다. 이 기능을 사용하여 노트북에서 데이터 파일을 다운로드한 후 로컬 환경에서 분석할 수 있습니다(예: Excel에서 추가 분석). 이 기능이 없을 때는 Amazon S3 콘솔로 이동하여 S3 버킷에서 파일을 다운로드해야 했습니다. 위의 2가지 Jupyter 매직 명령은 EMR Notebooks iPython Magics를 통해 사용할 수 있습니다.
EMR Studio는 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오레곤), 캐나다(중부), EU(아일랜드), EU(프랑크푸르트), EU(런던), EU(파리), EU(스톡홀름), 아시아 태평양(뭄바이), 아시아 태평양(서울), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 남아메리카(상파울루) 리전에서 사용 가능합니다.