분석

AWS Glue

모든 데이터를 대규모로 검색, 준비 및 통합

AWS Glue 시작하기

AWS Glue 전문가와 연결

1백만 개의 객체를 무료로 저장

AWS 프리 티어 사용 혜택

단일 데이터 통합 서비스를 통해 최신 데이터 파이프라인을 구축하고 관리할 수 있습니다.

서버리스 데이터 통합을 통해 적은 비용을 유지하고 규모에 상관없이 데이터에 더욱 집중할 수 있습니다.

노트북을 사용해 끌어서 놓기, 코드 작성, 연결 중에서 원하는 방식을 사용할 수 있습니다.

ETL, ELT, 배치, 스트리밍을 비롯하여 다양한 데이터 처리 방식 및 워크로드를 지원합니다.

작동 방식

AWS Glue는 분석, 기계 학습(ML) 및 애플리케이션 개발을 위해 여러 소스에서 데이터를 쉽게 탐색, 준비, 이동 및 통합할 수 있도록 하는 확장 가능한 서버리스 데이터 통합 서비스입니다.

데이터 통합 엔진 옵션
AWS Glue에서 사용자 및 워크로드를 지원하기에 적합한 데이터 통합 엔진을 선택하세요.

이 다이어그램은 AWS Glue 사용자가 인터페이스 옵션에서 여러 데이터 통합 엔진을 선택하여 작업 워크로드를 생성하는 방법을 보여줍니다. 왼쪽에 1개, 가운데에 2개, 오른쪽에 1개의 4개 섹션이 표시되어 있습니다.

왼쪽의 첫 번째 섹션은 ‘데이터 소스’입니다. ‘Amazon S3’, ‘Amazon DynamoDB’, ‘Amazon EC2에서 실행되는 데이터베이스’, ‘Databases’ 및 ‘SaaS’라는 데이터 소스가 포함되어 있습니다.

첫 번째 섹션에는 가운데 섹션의 ‘인터페이스 선택’ 다이어그램 위를 가리키는 화살표가 있습니다. 이 두 번째 섹션에는 ‘AWS Glue Studio’, ‘Amazon SageMaker 노트북’, ‘노트북 및 IDE’라는 3개의 항목이 있습니다.

이 두 번째 섹션 아래에는 ‘개방형 인터페이스는 대화형 워크로드 및 작업 워크로드를 지원합니다’라는 텍스트가 있습니다. 이 텍스트에는 이전에 설명된 위의 두 번째 섹션을 가리키는 화살표와 아래의 세 번째 섹션을 가리키는 화살표가 있습니다.

이 세 번째 섹션은 ‘데이터 통합 엔진’입니다. ‘자동 크기 조정 및 사용량에 따른 요금을 제공하는 서버리스 방식의 확장 가능한 데이터 처리 엔진을 선택합니다’라는 텍스트가 있습니다. 이 섹션에는 ‘AWS Glue for Ray’, ‘AWS Glue for Python Shell’ 및 ‘AWS Glue for Apache Spark’라는 3가지 엔진 이름이 포함되어 있습니다.

네 번째 섹션은 두 번째 섹션의 오른쪽에 두 번째 섹션에서 네 번째 섹션을 가리키는 화살표와 함께 나타납니다. 네 번째 섹션에는 ‘데이터 레이크 및 데이터 웨어하우스로 데이터를 생성하고 로드합니다’라는 텍스트가 있습니다. 이 섹션에는 ‘Amazon Redshift’, ‘데이터 레이크’ 및 ‘데이터 웨어하우스’라는 3개의 항목도 있습니다.

확대하려면 클릭
이벤트 기반 ETL
AWS Glue를 사용하면 새 데이터가 도착하는 대로 추출, 전환, 적재(ETL) 작업을 실행할 수 있습니다. 예를 들어 Amazon Simple Storage Service(S3)에서 새 데이터를 사용할 수 있게 되는 즉시 실행할 ETL 작업을 시작하도록 AWS Glue를 구성할 수 있습니다.
AWS Glue 데이터 카탈로그
데이터 카탈로그를 사용하면 데이터를 이동하지 않고도 여러 AWS 데이터 세트 전체에서 신속하게 데이터를 검색할 수 있습니다. 일단 데이터가 카탈로그에 저장되면 Amazon Athena, Amazon EMR 및 Amazon Redshift Spectrum에서 즉시 검색 및 쿼리에 데이터를 사용할 수 있습니다.
노 코드 ETL 작업
AWS Glue Studio를 사용하면 AWS Glue ETL 작업을 시각적으로 간편하게 생성, 실행 및 모니터링할 수 있습니다. 드래그 앤 드롭 방식의 편집기를 사용하여 데이터를 이동 및 변환하는 ETL 작업을 구축할 수 있으며 AWS Glue가 자동으로 코드를 생성합니다.
데이터 품질 관리 및 모니터링
AWS Glue Data Quality는 데이터 품질 규칙 생성, 관리 및 모니터링을 자동화하여 데이터 레이크 및 파이프라인 전체의 데이터 품질을 높게 유지할 수 있도록 합니다.

이 다이어그램은 AWS Glue Data Quality를 사용하여 규칙 권장 사항을 생성하고, 데이터 품질을 모니터링하며, 데이터 품질 저하 시 알림을 전송하는 방법을 보여줍니다. 왼쪽에서 오른쪽으로 3개의 섹션이 표시됩니다.

첫 번째 섹션에는 AWS Glue 데이터 카탈로그와 AWS Glue ETL에 대한 그림이 있습니다. AWS Glue 데이터 카탈로그 아래에는 ‘데이터 레이크의 모든 데이터 세트를 카탈로그로 작성합니다’라는 설명이 있습니다. AWS Glue ETL 아래에는 ‘개별 데이터 소스의 데이터를 통합하고 변환합니다’라는 설명이 있습니다.

두 번째 섹션의 제목은 ‘AWS Glue Data Quality’입니다. 이 섹션에는 3개의 아이콘이 있습니다. 첫 번째는 체크리스트입니다. 그 아래에는 ‘데이터 품질 규칙 권장 사항. 자동 데이터 품질 규칙 권장 사항으로 빠르게 시작합니다’라고 쓰여 있습니다. 두 번째 아이콘은 연필입니다. 그 아래에는 ‘미리 구성된 데이터 품질 규칙. 미리 구성된 데이터 품질 규칙으로 권장 사항을 편집하거나 보완합니다’라고 쓰여 있습니다. 세 번째 아이콘은 종입니다. 그 아래에는 ‘알림 및 조치. 데이터 품질 저하 시 수행할 조치와 알림을 추가합니다’라고 쓰여 있습니다.

세 번째 섹션에는 2개의 아이콘이 겹쳐져 있습니다. 첫 번째 아이콘은 막대 차트입니다. 그 아래에는 ‘지표. 데이터 품질 지표를 사용하여 확실한 비즈니스 의사 결정을 내립니다’라고 쓰여 있습니다. 두 번째 아이콘은 경고 기호입니다. 그 아래에는 ‘알림. 알림을 사용하여 품질 저하 시 알림을 받고 조치를 취해 데이터를 수정합니다’라고 쓰여 있습니다.

확대하려면 클릭
데이터 준비
AWS Glue DataBrew를 사용하면 Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora 및 Amazon Relational Database Service(RDS)를 비롯한 데이터 레이크, 데이터 웨어하우스 및 데이터베이스에서 직접 데이터를 탐색하고 데이터로 실험할 수 있습니다. DataBrew의 사전 구축된 250여 개의 변환 중에서 선택하여 이상 항목 필터링, 형식 표준화, 잘못된 값 수정 등의 데이터 준비 작업을 자동화할 수 있습니다.

AWS Glue 소개(01:54)

AWS Glue를 사용해야 하는 이유는 무엇인가요?

분석 또는 ML 프로젝트의 첫 번째 단계는 품질 좋은 결과가 나오도록 데이터를 준비하는 것입니다. AWS Glue는 더 저렴한 비용으로 더 간편하고 빠르게 데이터를 준비할 수 있는 서버리스 데이터 통합 서비스입니다. 70개 이상의 다양한 데이터 소스를 찾아서 연결하고, 중앙 집중식 데이터 카탈로그에서 데이터를 관리하며 데이터를 데이터 레이크에 로드하는 ETL 파이프라인을 시각적으로 생성, 실행 및 모니터링할 수 있습니다.