게시된 날짜: Apr 19, 2024
오늘 AWS는 이제 고객이 StartJobRun API, Spark Operator, Spark Submit 및 대화형 엔드포인트를 사용하는 것 외에도 Apache Livy를 사용하여 Amazon EMR on EKS에 Apache Spark 작업을 제출할 수 있게 되었다고 발표했습니다. 이번 출시로 REST 인터페이스를 사용하여 Spark 작업 또는 Spark 코드 스니펫을 손쉽게 제출하고, 결과를 동기식 또는 비동기식으로 검색하는 동시에 EMR 최적화 Spark 런타임, SSL 보안 Livy 엔드포인트, 프로그래밍 방식 설정 경험 등 Amazon EMR on EKS의 모든 이점을 계속 활용할 수 있습니다.
Apache Livy는 REST 인터페이스를 통해 Spark 클러스터와 손쉽게 상호 작용할 수 있는 서비스입니다. 지금까지는 REST 인터페이스를 통해 로컬 환경에서 배치 또는 대화형 워크로드를 실행하는 고객은 StartJobRun API 또는 대화형 엔드포인트를 사용해야 했습니다. 따라서 고객이 애플리케이션을 변경해야 했습니다. 오늘 출시와 함께 고객이 쉽게 Livy 엔드포인트를 생성하고 해당 엔드포인트를 사용하여 REST 인터페이스를 통해 Amazon EMR on EKS 클러스터에 Apache Spark 작업을 제출할 수 있는 경험이 간소화되었습니다. 또한 보안 강화를 위해 고객은 Kerberos, Custom Auth 등 지원되는 프로토콜 중 하나를 통해 인증을 구성하여 Livy 엔드포인트에 대한 액세스를 제한할 수도 있습니다.