AWS Glue

간단하고 확장 가능한 서버리스 데이터 통합

AWS Glue는 분석, 기계 학습 및 애플리케이션 개발을 위해 데이터를 쉽게 탐색, 준비, 그리고 조합할 수 있도록 지원하는 서버리스 데이터 통합 서비스입니다. AWS Glue에서는 데이터 통합에 필요한 모든 기능을 제공하므로, 몇 개월이 아니라 몇 분 안에 데이터 분석을 시작하고 해당 내용을 활용할 수 있습니다.

데이터 통합은 분석, 기계 학습 및 애플리케이션 개발을 위해 데이터를 준비하고 결합하는 프로세스입니다. 이 작업은 다양한 소스에서 데이터 검색 및 추출, 데이터 강화, 정리, 정규화 및 결합, 데이터베이스, 데이터 웨어하우스 및 데이터 호수에 데이터 로드 및 구성 등의 여러 작업을 포함합니다. 이러한 작업은 종종 각자 다른 제품을 사용하는 다른 유형의 사용자가 취급합니다.

AWS Glue는 데이터 통합을 쉽게 준비할 수 있도록 시각적 인터페이스와 코드 기반 인터페이스를 모두 제공합니다. 사용자는 AWS Glue 데이터 카탈로그를 사용하여 데이터를 쉽게 찾고 액세스할 수 있습니다. 데이터 엔지니어와 ETL (추출, 변형 및 로드) 개발자는 AWS Glue Studio에서 몇 번의 클릭으로 ETL 워크플로를 시각적으로 생성, 실행 및 모니터링할 수 있습니다. 데이터 분석가와 데이터 사이언티스트는 AWS Glue DataBrew를 사용하여 코드를 작성하지 않고도 데이터를 시각적으로 정리하고 정규화할 수 있습니다. AWS Glue Elastic Views를 통해 애플리케이션 개발자는 익숙한 Structured Query Language (SQL)를 사용하여 다른 데이터 저장소 간의 데이터를 조합 및 복제할 수 있습니다.

1백만 객체 저장 무료

제공 - AWS 프리 티어 사용 혜택

장점

보다 빠른 데이터 통합

조직 전체의 여러 그룹이 AWS Glue를 사용하여 추출, 정리, 정규화, 조합, 로드, 확장 가능한 ETL 워크플로 실행 등의 데이터 통합 작업을 함께 수행할 수 있습니다. 이러한 방식으로 데이터를 분석하고 사용하는데 걸리는 시간을 몇 개월에서 몇 분으로 단축할 수 있습니다.

대규모 데이터 통합 자동화

AWS Glue는 데이터 통합에 필요한 많은 작업을 자동화합니다. AWS Glue는 데이터 원본을 크롤링하고, 데이터 형식을 파악하고, 데이터 저장을 위한 스키마를 제안합니다. Glue는 자동으로 코드를 생성하여 데이터 변환 및 데이터 로딩 프로세스를 실행합니다. AWS Glue를 사용하여 수천 개의 ETL 작업을 쉽게 실행 및 관리하거나 SQL을 사용하는 여러 데이터 저장소 간에서 데이터를 조합 및 복제할 수 있습니다.

관리할 서버 없음

AWS Glue는 서버리스 환경에서 작동합니다. 관리할 인프라가 없으며 AWS Glue가 데이터 확장 작업을 실행하는 데 필요한 리소스를 프로비저닝, 구성 및 확장합니다. 고객은 실행 중 작업에 사용되는 리소스에 대해서만 비용을 지불합니다.

사용 사례


이벤트 주도 ETL (추출, 변형 및 로드) 파이프라인

AWS Glue는 새 데이터가 도착하면 ETL 작업을 실행할 수 있습니다. 예를 들어 AWS Lambda 함수를 통해 ETL 작업을 트리거하여 Amazon S3에 새로운 데이터가 저장되는 대로 ETL 작업이 실행되도록 할 수 있습니다. 또한, 이 새로운 데이터 세트를 ETL 작업의 일부로 AWS Glue 데이터 카탈로그에 등록할 수도 있습니다.

이벤트 기반 ETL 파이프라인 다이어그램

통합 카탈로그를 생성하여 다양한 데이터 저장소에서 데이터를 찾으십시오.

AWS Glue 데이터 카탈로그를 사용하면 데이터를 이동하지 않고도 여러 AWS 데이터 세트 전체에서 신속하게 데이터를 검색할 수 있습니다. 일단 데이터가 카탈로그에 저장되면 Amazon Athena, Amazon EMR 및 Amazon Redshift Spectrum에서 즉시 검색 및 쿼리에 데이터를 사용할 수 있습니다.

AWS Glue에서 ELT 작업 생성 및 실행

코딩 없이 ETL 작업 생성, 실행 및 모니터링

AWS Glue Studio를 사용하면 AWS Glue ETL 작업을 시각적으로 쉽게 생성, 실행 및 모니터링할 수 있습니다. 드래그 앤 드롭 에디터를 사용하여 데이터를 이동 및 변형하는 ETL 작업을 구성할 수 있으며 AWS Glue는 자동으로 코드를 생성합니다. 그런 다음 AWS Glue Studio 작업 실행 대시보드로 ETL 실행 상태를 모니터링하고 작업이 정상적으로 작동하는지 확인할 수 있습니다. 여기에서 AWS Glue Studio에 대해 자세히 알아보십시오.

ETL 개발자를 위한 시각적 ETL 도구

데이터 탐색 및 셀프 서비스 시각적 데이터 준비

AWS Glue DataBrew를 사용하면 Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora 및 Amazon RDS를 비롯한 데이터 레이크, 데이터 웨어하우스 및 데이터베이스에서 직접 데이터를 탐색하고 데이터로 실험할 수 있습니다. AWS Glue DataBrew의 사전 구축된 250여 개의 변환 중에서 선택하여 이상 항목 필터링, 형식 표준화, 잘못된 값 수정 등의 데이터 준비 작업을 자동화할 수 있습니다. 데이터가 준비되면 분석 및 기계 학습에 바로 사용할 수 있습니다. 여기에서 AWS Glue DataBrew에 대해 자세히 알아보세요.

시각적 데이터 정리 및 데이터 정규화

구체화된 뷰를 구축하여 데이터 조합 및 복제 (체험판)

AWS Glue Elastic Views는 익숙한 SQL을 사용하여 구체화된 뷰를 생성하게 해줍니다. 이 뷰를 사용하여 다양한 소스 데이터 저장소의 데이터에 액세스하고 이를 조합하며, 조합한 데이터를 타겟 데이터 저장소에서 최신 상태를 유지하며 액세스 가능하게 유지합니다. AWS Glue Elastic Views 평가판은 현재 Amazon DynamoDB를 소스로 지원하며, Amazon Aurora 및 Amazon RDS에 대한 지원이 이어집니다. 현재 지원 대상은 Amazon Redshift, Amazon S3 및 Amazon OpenSearch Service(Amazon Elasticsearch Service 후속)로, Amazon Aurora, Amazon RDS, 그리고 Amazon DynamoDB에 대한 지원이 이어집니다. AWS Glue Elastic Views에 대해 여기에서 자세히 알아보세요.

시각적 데이터 정리 및 데이터 정규화

새로운 소식

날짜
  • 날짜
1
AWS Glue 기능
AWS Glue 기능 살펴보기

AWS Glue의 주요 기능에 대해 자세히 알아보십시오.

자세히 알아보기 
AWS 계정에 가입
무료 계정에 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다. 

가입하기 
콘솔에서 구축 시작
AWS Glue에서 구축 시작

비주얼 ETL 인터페이스에서 AWS Glue를 사용하여 구축을 시작하십시오.

로그인