Amazon EMR용 Apache Spark 업그레이드 에이전트 발표
AWS는 EC2 및 EMR 서버리스의 Amazon EMR에 대한 Apache Spark 버전 업그레이드를 가속화하는 새로운 기능인 Apache Spark 업그레이드 에이전트를 발표했습니다. 에이전트는 자동화된 코드 분석 및 변환을 통해 일반적으로 몇 달이 걸리는 복잡한 업그레이드 프로세스를 몇 주에 걸친 프로젝트로 전환합니다. 조직은 Spark 업그레이드 중에 API 변경을 분석하고, 충돌을 해결하고, 애플리케이션을 검증하는 데 상당한 엔지니어링 리소스를 투자합니다. 이 에이전트는 엔지니어가 코드 수정에 대한 완전한 제어를 유지하면서 자연어로 업그레이드 요구 사항을 표현하는 대화형 인터페이스를 도입합니다.
Apache Spark 업그레이드 에이전트는 PySpark 및 Scala 애플리케이션 전반의 API 변경 및 동작 수정을 자동으로 식별합니다. 엔지니어는 MCP(모델 컨텍스트 프로토콜) 호환성을 통해 SageMaker Unified Studio, Kiro CLI 또는 원하는 IDE에서 직접 업그레이드를 시작할 수 있습니다. 업그레이드 프로세스 중에 에이전트는 기존 코드를 분석하고 특정 변경 사항을 제안하며 엔지니어는 구현 전에 검토 및 승인할 수 있습니다. 에이전트는 데이터 품질 검증을 통해 기능의 정확성을 검증합니다. 에이전트는 현재 Spark 2.4에서 3.5로의 업그레이드를 지원하며 업그레이드 프로세스 전반에서 데이터 처리의 정확도를 유지합니다.
Apache Spark 업그레이드 에이전트는 이제 SageMaker Unified Studio를 사용할 수 있는 모든 AWS 리전에서 사용할 수 있습니다. 에이전트 사용을 시작하려면 SageMaker Unified Studio를 방문하여 IDE Spaces를 선택하거나 Kiro CLI를 설치하세요. 자세한 이용 가이드, 참조 문서 및 마이그레이션 예시는 설명서를 참조하세요.