게시된 날짜: Mar 29, 2021
AWS Step Functions가 이제 Amazon EMR on Amazon EKS(Amazon Elastic Kubernetes Service)와 통합되어 Apache Spark 기반 작업을 분석 파이프라인에 통합하는 것이 더 쉬워졌습니다. 이제 작업 상태를 관리하는 코드를 작성하지 않고 EMR on EKS 가상 클러스터를 관리하고 작업을 제출하는 단계를 비롯한 워크플로를 구축할 수 있습니다.
Step Functions는 Amazon Athena, Amazon EMR, Amazon EKS과 같은 Amazon 서비스, 그리고 이제는 Amazon EMR on Amazon EKS까지 사용하여 복원력이 뛰어난 서버리스 워크플로를 구축할 수 있게 해 줍니다. EMR on EKS는 Amazon EKS(Amazon Elastic Kubernetes Service)에서 Apache Spark를 실행할 수 있게 하는 Amazon EMR 배포 옵션을 제공합니다. 동일한 Amazon EKS 클러스터에서 다른 유형의 애플리케이션과 함께 Amazon EMR 기반 애플리케이션을 실행하여 여러 AWS 가용 영역에서 리소스 활용을 개선하고 인프라 관리를 간소화할 수 있습니다.
Step Functions의 Amazon EMR on EKS 통합을 통해 지원되는 세 가지 API 작업은 다음과 같습니다.
1. createVirtualCluster: 기존 AWS EKS 네임스페이스에서 AWS EMR on EKS 가상 클러스터를 생성 및 등록한 다음 완료될 때까지 대기합니다.
2. deleteVirtualCluster(.sync): AWS EMR on EKS 가상 클러스터를 삭제한 다음 삭제될 때까지 대기합니다.
3. startJobRun(.sync): AWS EMR on EKS에 작업을 제출하고 작업이 완료될 때까지 대기합니다.
시작하려면 AWS Step Functions 설명서 및 AWS의 블로그 게시물을 참조하세요.
Step Functions와 EMR on EKS의 통합은 미국 동부(오하이오 및 버지니아 북부), EU 서부(아일랜드) 및 캐나다(중부) 리전에서 상용 버전으로 사용할 수 있습니다. Step Functions와 EMR on EKS를 지원하는 다른 모든 상용 리전에서도 조만간 사용할 수 있게 될 예정입니다. 리전 및 서비스 오퍼링의 전체 목록은 AWS 리전을 참조하세요.
Step Functions에 대한 자세한 내용은 AWS Step Functions 페이지를 참조하세요. Amazon EMR on EKS에 대한 자세한 내용은 AWS EMR on EKS 페이지를 참조하세요.