게시된 날짜: Oct 12, 2023
AWS Step Functions는 6가지의 EMR Serverless API 작업(CreateApplication, StartApplication, StopApplication, DeleteApplication, StartJobRun 및 CancelJobRun)을 통해 작업 실행(.sync) 통합 패턴에 대한 지원을 추가하여 Amazon EMR Serverless를 위한 최적화된 통합을 발표했습니다.
Amazon EMR의 EMR Serveless는 데이터 분석가 및 엔지니어가 클러스터나 서버를 구성, 관리 및 확장할 필요 없이 Apache Spark, Apache Hive 등의 오픈 소스 빅 데이터 분석 프레임워크를 실행할 수 있도록 지원하는 서버리스 옵션입니다. AWS Step Functions는 AWS 서비스를 확장 가능하고 안정적이며 복원력이 뛰어난 애플리케이션 구성 요소로 손쉽게 구성할 수 있는 시각적 워크플로 서비스입니다. 고객은 Step Functions의 시각적 작성 및 운영자 환경을 사용하여 복원력이 뛰어나고 관리 가능한 다단계 EMR 데이터 처리 파이프라인을 생성합니다. 이번에 새롭게 최적화된 통합을 통해 고객은 비동기 작업의 완료를 모니터링하는 데 사용되는 단계를 제거하고 단일 Step Functions 상태로 대체하여 이러한 파이프라인을 단순화할 수 있습니다.
이 EMR Serverless를 위한 최적화된 통합은 Amazon EMR Serverless가 제공되는 모든 AWS 리전에서 사용할 수 있습니다.
시작하려면 AWS Console에서 Step Functions용 새 “EMR Serverless Spark 작업 실행” 샘플 프로젝트를 사용하거나 Step Functions Workflow Studio를 사용하여 워크플로를 구축할 수 있습니다. 자세히 알아보고 시작하려면 AWS Step Functions 개발자 안내서 및 출시 블로그를 참조하세요.