AWS Glue, Apache Spark의 생성형 AI 업그레이드 발표(평가판)
AWS Glue는 Apache Spark를 위한 생성형 AI 업그레이드를 발표했습니다. 새로운 생성형 AI 기능을 사용하면 데이터 실무자가 기존 Spark 작업을 신속하게 업그레이드하고 현대화할 수 있습니다. Amazon Bedrock을 기반으로 하는 이 기능은 Spark 스크립트 및 구성의 분석과 업데이트를 자동화함으로써 Spark 업그레이드에 필요한 시간과 노력을 몇 주에서 몇 분으로 단축합니다.
AWS Glue는 분석, 기계 학습 및 애플리케이션 개발을 위해 데이터를 쉽게 탐색, 준비, 조합할 수 있도록 지원하는 확장 가능한 서버리스 데이터 통합 서비스입니다. Spark 업그레이드를 사용하면 AWS Glue 콘솔에서 클릭 한 번으로 자동 업그레이드를 시작하여 이전 버전에서 AWS Glue 버전 4.0으로 Spark 작업을 현대화할 수 있습니다. 이 기능은 Python 기반 Spark 작업을 분석하고, 코드 변경 및 구성 수정을 자세히 설명하는 업그레이드 계획을 생성합니다. 생성형 AI를 활용하여 테스트 실행을 Glue 작업으로 실행함으로써 업그레이드된 코드를 반복적으로 개선하고 검증합니다. 검증이 성공적으로 완료되면 검토를 위해 모든 변경 사항에 대한 세부 요약이 제공되므로 안심하고 업그레이드된 Spark 작업을 배포할 수 있습니다. 이 자동화된 접근 방식을 사용하면 park 업그레이드의 복잡성을 줄이면서 데이터 파이프라인의 신뢰성을 유지할 수 있습니다.
Apache Spark의 생성형 AI 업그레이드 평가판은 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오리건), 아시아 태평양(도쿄), 아시아 태평양(시드니) AWS 리전의 AWS Glue에서 사용할 수 있습니다. 자세히 알아보려면 AWS Glue 웹 사이트로 이동하거나, 출시 블로그 또는 설명서를 살펴보세요.