AWS Glue를 사용해야 하는 이유는 무엇인가요?
분석 또는 AI 프로젝트의 첫 번째 단계는 품질 좋은 결과가 나오도록 데이터를 준비하는 것입니다. AWS Glue는 더 저렴한 비용으로 더 간편하고 빠르게 데이터를 통합할 수 있는 서버리스 서비스입니다. 100여 개의 다양한 데이터 소스를 찾아서 연결하고, 중앙 집중식 데이터 카탈로그에서 데이터를 관리하며, 데이터를 데이터 레이크, 데이터 웨어하우스 및 레이크하우스에 로드하는 데이터 파이프라인을 시각적으로 생성, 실행, 모니터링할 수 있습니다. 기본 제공 생성형 AI 기능을 사용하면 ETL 작성 및 Spark 문제 해결을 위한 지능형 지원을 통해 Apache Spark 작업을 현대화하고 개발 속도를 높일 수 있습니다.
Amazon SageMaker의 차세대 AWS Glue를 사용하여 데이터 통합
차세대 Amazon SageMaker의 AWS Glue를 사용하면 비용 효율적이고 확장 가능한 서버리스 데이터 통합을 통해 한 곳에서 워크로드를 관리하고 구축할 수 있습니다.
장점
-
AWS Glue에서는 데이터 통합에 필요한 모든 기능을 제공하므로, 인사이트를 얻고 데이터를 신속하게 활용할 수 있습니다. AWS Glue는 내장 ETL, 스키마 검색 및 서비스 간 통합을 통해 최신 데이터 파이프라인을 설계하고 자동화할 수 있는 완전관리형 서버리스 도구 키트를 제공합니다.
AWS Glue는 리소스를 많이 사용하는 가장 까다로운 데이터 처리 작업도 관리할 인프라 없이 기가바이트에서 페타바이트까지 자동으로 확장하므로 사용한 리소스에 대해서만 비용을 지불하면 됩니다.
-
AWS Glue는 예약 및 모니터링 기능이 내장된 서버리스 데이터 파이프라인을 제공하여 인프라 관리가 필요 없으므로 팀은 서버 유지 관리 대신 데이터 워크플로 구축에 집중할 수 있습니다.
-
ETL 코드 자동 생성부터 Spark 작업 현대화까지 데이터 통합 여정 전반에서 AI 기반 지원을 받으세요. AWS Glue는 지능형 코드 생성, AI 지원 Spark 업그레이드, 기본 제공 Spark 문제 해결을 제공합니다.
-
차세대 Amazon SageMaker에서 데이터 소스에 빠르고 쉽게 연결하여 데이터가 어디에 있든 데이터를 통합할 수 있습니다. Amazon SageMaker 내에서 AWS Glue, Amazon Athena, Amazon EMR 및 MWAA를 조합하여 데이터 처리 프로젝트를 생성하고 공유 관리 및 모니터링 환경을 활용할 수 있습니다. AWS Glue 데이터 처리 기능은 Amazon SageMaker 노트북과 Amazon SageMaker 시각적 ETL에서 사용할 수 있습니다.
사용 사례
ETL 파이프라인 관리 간소화
자동 프로비저닝 및 작업자 관리를 통해 인프라 관리 필요성을 제거하고 모든 데이터 통합 요구 사항을 단일 서비스로 통합합니다.
대화식으로 데이터 탐색, 실험 및 처리
데이터 엔지니어는 AWS Glue 대화형 세션을 사용하여 원하는 통합 개발 환경(IDE) 또는 노트북을 통해 대화형으로 데이터를 탐색하고 준비할 수 있습니다.
효율적인 데이터 검색
AWS, 온프레미스 및 기타 클라우드 전반에서 데이터를 신속하게 식별한 다음 쿼리 및 변환에 즉시 사용할 수 있도록 합니다.
다양한 처리 프레임워크 및 워크로드 지원
ETL, ELT 등 다양한 데이터 처리 프레임워크와, 배치, 마이크로 배치, 스트리밍 등 다양한 워크로드를 보다 쉽게 지원합니다.
새로운 소식
오늘 원하는 내용을 찾으셨나요?
페이지의 콘텐츠 품질을 개선할 수 있도록 피드백을 보내주세요.