생성형 AI 지원

데이터 통합 가속화 및 개발자 생산성 향상

AWS Glue의 AI 도움말

AWS Glue에 Amazon Q 데이터 통합을 통해 자연어를 사용하여 데이터 통합 파이프라인을 구축할 수 있습니다. 채팅 인터페이스를 통해 의도를 설명하면 AWS Glue가 작업 전체를 생성합니다. 클릭 한 번으로 작업을 테스트하고 프로덕션에 적용할 수 있습니다. AWS Glue는 추가 생성 AI 기능을 제공함으로써 Spark 작업을 현대화하고 문제 해결을 가속화하여 비구분 작업에 소요되는 시간을 줄이도록 도와줍니다. Apache Spark 또는 SQL 전문가가 아니어도 되고 전문가의 답변을 기다릴 필요도 없습니다.

장점

더 빠른 데이터 통합

여러 소스의 데이터를 통합하는 데는 며칠 또는 몇 달이 걸릴 수 있습니다. Amazon Q Developer 데이터 통합 기능을 사용하면 최소한의 데이터 통합 지식이나 코딩 경험으로도 데이터 통합 작업을 구축할 수 있습니다. 수동 작업의 추출을 통해 일상적 작업에 소요되는 시간을 줄이고 데이터 분석에 더 많은 시간을 할애할 수 있습니다.

Amazon Q Developer에게 필요한 내용을 영어로 알려 주면 완전한 작업을 전달 받을 수 있습니다. 예를 들어, 데이터 통합 기능을 사용하여 Amazon Q Developer에게 “S3에서 JSON 파일을 읽고, 'accountid'에 조인하고, DynamoDB로 로드”하도록 요청하면 해당 작업을 수행할 수 있는 종단 간 데이터 통합 작업이 반환됩니다. 생성된 작업을 검토하고, 샘플 데이터 세트와 비교 및 테스트하여 프로덕션으로 이동할 수 있습니다.

개발자 생산성 향상

데이터 통합 작업을 구축하는 것은 시작에 불과합니다. 작업을 작성하여 프로덕션에 배포한 후에는 이를 유지 관리하고 문제를 해결해야 합니다. 오류는 연결, 환경, 구문, 유효성 검사 또는 실행과 관련되었을 수 있습니다. 통합 작업을 생성, 테스트, 게시 또는 실행할 때 발생할 수 있습니다. 문제 해결을 위해서는 로그 파일을 꼼꼼히 살펴보고 모니터링 대시보드에 로그인해야 합니다.

AWS Glue는 이제 여러분의 Spark 작업을 현대화하고 문제를 더 빨리 해결할 수 있도록 도와주는 AI 기반 기능을 제공합니다. 새 Spark 버전으로 자동 업그레이드하고 문제 발생 시 지능형 진단을 통해 디버깅 시간을 며칠에서 몇 분으로 단축하십시오.

전문가의 즉각적인 도움

AWS Glue는 전체 데이터 통합 수명 주기 동안 AI 기반 지원을 제공합니다. AWS Glue에 대한 심층적인 도메인 지식을 바탕으로 구축되어 데이터 통합과 관련된 모든 것에 대한 전문가 수준의 지침을 제공합니다.

조직 내 SME를 기다리거나 컨설턴트를 고용하는 대신 AWS Glue 콘솔, AWS Glue Studio 또는 API를 통해 언제든지 Amazon Q 개발자에게 도움을 구할 수 있습니다. Amazon Q 개발자 데이터 통합 기능은 다른 AWS 서비스와 함께 사용하도록 최적화되었습니다. Amazon DynamoDB, Amazon DocumentDB, Apache Kafka용 Amazon Managed Streaming, Amazon Kinesis, Amazon Redshift 및 Amazon S3에 저장된 데이터를 추출, 변환 및 로드하는 작업을 쉽게 생성할 수 있습니다.

간편한 Spark 업그레이드 실행

Apache Spark 업그레이드 에이전트는 PySpark 및 Scala 애플리케이션 전반의 API 변경 및 동작 수정을 자동으로 식별합니다. 엔지니어는 MCP(모델 컨텍스트 프로토콜) 호환성을 통해 SageMaker Unified Studio 또는 선택한 IDE에서 직접 업그레이드를 시작할 수 있습니다. 업그레이드 프로세스 중에 에이전트는 기존 코드를 분석하고 특정 변경 사항을 제안하며 엔지니어는 구현 전에 이를 검토 및 승인할 수 있습니다. 에이전트는 데이터 품질 검증을 통해 기능의 정확성을 검증합니다. 에이전트는 현재 Spark 2.4에서 3.5로의 업그레이드를 지원하며 업그레이드 프로세스 전반에서 데이터 처리의 정확도를 유지합니다.

사용 사례

데이터 통합을 위한 AI

요구 사항을 평이한 영어로 간단히 설명하여 프로덕션에 바로 사용할 수 있는 ETL 작업을 생성하세요. 데이터 엔지니어와 분석가는 Apache Spark에 대한 깊이 있는 전문 지식 없이도 데이터 통합 워크플로를 빠르게 생성할 수 있습니다. 데이터세트 결합, 데이터 집계, 다양한 AWS 서비스에 로드 등 일반적인 시나리오를 위한 완전하고 실행 가능한 코드를 얻을 수 있습니다.

Amazon Q 데이터 통합에 대해 자세히 알아보세요.

기능을 유지하면서 Spark 작업을 자동으로 분석하고 최신 버전으로 업그레이드합니다. AWS Glue는 스크립트, 구성, 종속성을 식별하고 업데이트하는 복잡한 작업을 처리하여 업그레이드 프로젝트 기간을 몇 개월에서 며칠로 단축합니다. 이를 통해 수동 작업 없이 최신 Spark 기능 및 보안 개선 사항을 활용할 수 있습니다.

Apache Spark의 생성형 AI 업그레이드에 대해 자세히 알아보세요.

AI 기반 문제 해결을 사용하여 Spark 작업의 문제를 신속하게 식별하고 해결하세요. AWS Glue는 작업 메타데이터, 실행 로그, 구성을 분석하여 즉각적인 근본 원인 분석과 실행 가능한 권장 사항을 제공합니다. 이에 따라 디버깅 시간이 며칠에서 몇 분으로 단축되고 설명서를 자세히 살펴보거나 지원을 기다릴 필요가 없어집니다.

Apache Spark의 생성형 AI 문제 해결에 대해 자세히 알아보세요.

복잡한 코드 분석 및 변환을 처리하는 지능형 자동화 에이전트를 사용하여 Amazon EMR 및 AWS Glue에서 Apache Spark 버전 업그레이드를 몇 개월에서 단 몇 주로 단축할 수 있습니다. 엔지니어는 직관적인 대화형 인터페이스를 통해 코드 수정을 완벽하게 제어하는 한편 업그레이드 요구 사항을 자연스럽게 표현할 수 있으므로 수동 API 분석, 충돌 해결 및 애플리케이션 검증에 대한 기존의 부담을 없앨 수 있습니다.