AWS Step Functions에 Amazon EMR 서비스 통합 추가

게시된 날짜: Nov 19, 2019

이제 AWS Step Functions가 Amazon EMR과 통합되어 EMR 빅 데이터 처리 워크플로를 보다 빠르게 구축하고 보다 쉽게 모니터링할 수 있습니다.

AWS Step Functions를 사용하면 Amazon EMR, Amazon SageMaker, AWS Lambda 같은 AWS 서비스를 통해 복원력이 뛰어난 워크플로를 구축할 수 있습니다. Amazon EMR은 업계 최고 수준의 클라우드 네이티브 빅 데이터 플랫폼으로, 방대한 양의 데이터를 대규모로 신속하면서 경제적으로 처리할 수 있게 해 줍니다. Step Functions와 Amazon EMR을 사용하면 추가 코드 작성을 최소화하면서 빅 데이터 워크플로를 조정할 수 있습니다.  

이제 Amazon EMR과 AWS Step Functions를 사용하여 Amazon EMR 단계를 주문하고 종속성을 관리하고 작업을 병렬로 실행하는 효율적인 데이터 처리 워크플로를 생성할 수 있습니다. ETL 워크플로의 일부로 클러스터를 적극적으로 확장/축소하여 당면한 작업에 맞게 클러스터 크기를 조정할 수 있습니다. 또한 예외 처리 방법을 선택하고, 실패한 작업을 재시도하고, 사용자에게 오류를 알리는 방법으로 데이터 처리 워크플로의 복원력을 높일 수 있습니다.

Amazon EMR 서비스와 AWS Step Functions Data Science SDK의 통합을 사용하면 포괄적인 데이터 과학 워크플로를 구축할 수 있습니다. EMR 서비스 통합은 AWS Step Functions와 Amazon EMR을 모두 사용할 수 있는 모든 리전에서 사용 가능합니다. 리전 및 서비스 오퍼링의 전체 목록은 AWS 리전을 참조하십시오.

시작하려면 설명서를 검토하고, Amazon EMR을 사용한 데이터 처리 워크플로의 구축 방법을 보여주는 원클릭 샘플 프로젝트를 배포한 다음, 첫 번째 데이터 처리 워크플로의 구축을 시작하십시오.

자세히 알아보려면 다음을 수행하십시오.