AWS Glue, Apache Spark의 문제를 해결하는 생성형 AI 발표(평가판)
AWS Glue는 데이터 엔지니어와 과학자가 Spark 작업의 문제를 신속하게 파악하고 해결할 수 있도록 도와주는 새로운 기능인 Apache Spark 문제 해결 생성형 AI 기능을 발표했습니다. Spark 문제 해결 기능은 기계 학습 및 생성형 AI 기술을 사용하여 Spark 작업 문제에 대한 자동화된 근본 원인 분석과 더불어 파악된 문제를 해결하기 위한 실행 가능한 권장 사항을 제공합니다.
AWS Glue는 분석, 기계 학습 및 애플리케이션 개발을 위해 데이터를 쉽게 탐색, 준비, 조합할 수 있도록 지원하는 확장 가능한 서버리스 데이터 통합 서비스입니다. Spark 문제 해결 기능을 사용하면 AWS Glue 콘솔에서 클릭 한 번으로 실패한 작업에 대한 자동 분석을 시작할 수 있습니다. 이 기능은 메모리 오류, 데이터 왜곡 문제, 리소스를 찾을 수 없음 예외 등 진단하기 어려운 Spark 문제에 대한 근본 원인 분석과 해결 단계를 제공합니다. 따라서 중요한 데이터 파이프라인의 가동 중지 시간을 줄일 수 있습니다. Amazon Bedrock을 기반으로 하는 Spark 문제 해결 기능은 디버깅 시간을 며칠에서 몇 분으로 단축합니다.
Apache Spark 문제 해결 생성형 AI 평가판은 AWS Glue 4.0에서 실행되는 작업에 사용할 수 있으며 미국 동부(버지니아 북부), 미국 서부(오리건), 유럽(아일랜드), 미국 동부(오하이오) 등의 AWS 리전에서 제공됩니다. 자세히 알아보려면 AWS Glue 웹 사이트로 이동하거나, 출시 블로그 또는 설명서를 살펴보세요.