AWS Glue

간단하고 확장 가능한 서버리스 데이터 준비

AWS Glue는 데이터 엔지니어, ETL(추출, 변환 및 로드) 개발자, 데이터 분석가 및 데이터 사이언티스트가 데이터를 쉽게 추출, 정리, 보강, 정규화 및 로드할 수 있게 하는 서버리스 데이터 준비 서비스입니다. AWS Glue는 데이터 분석을 시작하는 데 걸리는 시간을 몇 개월에서 몇 분으로 단축합니다.

데이터 준비는 중요하지만 까다로운 프로세스입니다. 분석할 데이터를 준비하려면 먼저 다양한 소스에서 데이터를 추출합니다. 그런 다음 데이터를 정리하고 필요한 형식으로 변환한 다음 추가 분석을 위해 데이터베이스, 데이터 웨어하우스 및 데이터 레이크로 로드합니다. 여러 그룹에서 서로 다른 도구를 사용하여 이러한 태스크를 수행하는 경우가 많습니다.

AWS Glue는 데이터를 쉽게 준비할 수 있도록 시각적 인터페이스와 코드 기반 인터페이스를 모두 제공합니다. 데이터 엔지니어와 ETL 개발자는 AWS Glue Studio를 사용하여 몇 번의 클릭으로 ETL 워크플로를 생성, 실행 및 모니터링할 수 있습니다. 데이터 분석가와 데이터 사이언티스트는 AWS Glue DataBrew를 사용하여 코드를 작성하지 않고도 데이터를 시각적으로 정리하고 정규화할 수 있습니다.

AWS Glue 소개(1:47)

이점

더 빠르게 데이터 준비

AWS Glue는 모든 사용자가 분석 및 기계 학습을 위한 데이터 준비 과정을 간소화할 수 있도록 통합 도구를 제공합니다. 조직 전체의 여러 그룹이 함께 추출, 정리, 정규화, 로드, 확장 가능한 ETL 워크플로 실행 등의 데이터 준비 작업을 수행할 수 있습니다. 이러한 방식으로 데이터 분석을 시작하는 데 걸리는 시간을 몇 개월에서 몇 분으로 단축할 수 있습니다.

대규모 자동화

AWS Glue는 데이터 준비에 필요한 많은 작업을 자동화합니다. AWS Glue는 데이터 원본을 크롤링하고, 데이터 형식을 파악하고, 데이터 저장을 위한 스키마를 제안합니다. Glue는 자동으로 코드를 생성하여 데이터 변환 및 데이터 로딩 프로세스를 실행합니다. AWS Glue로 수천 개의 ETL 작업을 쉽게 실행하고 관리하여 분석 및 기계 학습을 위한 페타바이트 규모의 데이터를 효율적으로 준비할 수 있습니다.

관리할 서버 없음

AWS Glue는 서버리스 환경에서 Apache Spark와 Python을 실행합니다. 관리할 인프라가 없으며 AWS Glue가 데이터 준비 작업을 실행하는 데 필요한 리소스를 프로비저닝, 구성 및 확장합니다. 고객은 실행 중 작업에 사용되는 리소스에 대해서만 비용을 지불합니다.

사용 사례


여러 데이터 스토어 전체의 데이터에 대한 통합된 뷰

AWS Glue 데이터 카탈로그를 사용하면 데이터를 이동하지 않고도 여러 AWS 데이터 세트 전체에서 신속하게 데이터를 검색할 수 있습니다. 일단 데이터가 카탈로그에 저장되면 Amazon Athena, Amazon EMR 및 Amazon Redshift Spectrum에서 즉시 검색 및 쿼리에 데이터를 사용할 수 있습니다.

AWS Glue에서 ELT 작업 생성 및 실행

이벤트 기반 ETL 파이프라인

AWS Glue는 새 데이터가 도착하면 ETL 작업을 실행할 수 있습니다. 예를 들어 AWS Lambda 함수를 통해 ETL 작업을 트리거하여 Amazon S3에 새로운 데이터가 저장되는 대로 ETL 작업이 실행되도록 할 수 있습니다. 또한, 이 새로운 데이터 세트를 ETL 작업의 일부로 AWS Glue 데이터 카탈로그에 등록할 수도 있습니다.

이벤트 기반 ETL 파이프라인 다이어그램

코딩 없는 빅 데이터 ETL

AWS Glue Studio를 사용하면 AWS Glue ETL 작업을 시각적으로 쉽게 생성, 실행 및 모니터링할 수 있습니다. 데이터를 이동 및 변환하고 AWS Glue에서 실행하는 ETL 작업을 구성할 수 있습니다. 그런 다음 AWS Glue Studio 작업 실행 대시보드로 ETL 실행 상태를 모니터링하고 작업이 정상적으로 작동하는지 확인할 수 있습니다. 여기에서 AWS Glue Studio에 대해 자세히 알아보십시오.

ETL 개발자를 위한 시각적 ETL 도구

셀프 서비스 시각적 데이터 준비

AWS Glue DataBrew를 사용하면 Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora 및 Amazon RDS를 비롯한 데이터 레이크, 데이터 웨어하우스 및 데이터베이스에서 직접 데이터를 탐색하고 데이터로 실험할 수 있습니다. AWS Glue DataBrew의 사전 구축된 250여 개의 변환 중에서 선택하여 이상 항목 필터링, 형식 표준화, 잘못된 값 수정 등의 데이터 준비 작업을 자동화할 수 있습니다. 데이터가 준비되면 분석 및 기계 학습에 바로 사용할 수 있습니다. 여기에서 AWS Glue DataBrew에 대해 자세히 알아보세요.

시각적 데이터 정리 및 데이터 정규화

새로운 소식

날짜
  • 날짜
1
AWS Glue 기능
AWS Glue 기능 살펴보기

AWS Glue의 주요 기능에 대해 자세히 알아보십시오.

자세히 알아보기 
AWS 계정에 가입
무료 계정에 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다. 

가입하기 
콘솔에서 구축 시작
AWS Glue에서 구축 시작

비주얼 ETL 인터페이스에서 AWS Glue를 사용하여 구축을 시작하십시오.

로그인