게시된 날짜: Oct 31, 2023
오늘 AWS는 EMR Serverless 애플리케이션에서 대화형 분석을 활성화할 수 있다는 소식을 발표했습니다. 이번 출시를 통해 EMR on EC2 클러스터와 EMR on EC2 가상 클러스터 외에도 EMR Serverless 애플리케이션을 컴퓨팅으로 선택하여 EMR Studio 워크스페이스에서 Jupyter Notebook을 실행할 수 있습니다. Amazon EMR Studio는 데이터 사이언티스트와 데이터 엔지니어가 PySpark, Python, Scala로 작성한 분석 애플리케이션을 간편하게 개발, 시각화 및 디버깅할 수 있도록 지원하는 통합 개발 환경(IDE)입니다. Amazon EMR Serverless는 Amazon EMR의 서버리스 옵션으로, 클러스터 또는 서버를 구성, 관리 및 확장할 필요 없이 Apache Spark와 같은 오픈 소스 빅 데이터 분석 프레임워크를 간편하게 실행할 수 있도록 지원합니다.
오늘부터 EMR Serverless 애플리케이션을 활성화하여 EMR Studio에서 대화형 분석을 수행할 수 있습니다. 일단 활성화되면 EMR Studio 워크스페이스에서 바로 EMR Serverless 애플리케이션에 연결할 수 있습니다. 이제 클러스터를 관리할 필요 없이 기본 제공된 SparkMagic Jupyter Notebook을 사용하여 대화식으로 데이터를 쿼리, 탐색 및 시각화하고 Spark 워크로드를 실행할 수 있습니다. 노트북에서 라이브 Spark UI를 직접 실행하여 로그에 액세스하고 애플리케이션을 디버깅할 수 있습니다.