서버리스 데이터 통합 - AWS Glue 요금

AWS Glue에서는 크롤러(데이터 검색) 및 추출, 전환, 적재(ETL) 작업(데이터 처리 및 로딩)에 대해 초 단위로 청구되는 시간당 요금을 지불합니다. AWS Glue 데이터 카탈로그의 경우 메타데이터 저장 및 액세스에 대해 단순히 월별 비용을 지불합니다. 저장된 처음 1백만 개의 객체는 무료이며 처음 1백만 번의 액세스도 무료입니다. ETL 코드를 대화식으로 개발할 수 있도록 개발 엔드포인트를 프로비저닝한 경우 초 단위로 청구되는 시간당 요금을 지불합니다. AWS Glue DataBrew의 경우 대화형 세션은 세션별 요금이 청구되고 DataBrew 작업은 분당 요금이 청구됩니다. AWS Glue Schema 레지스트리는 무료로 사용할 수 있습니다.

참고: 요금은 AWS 리전별로 다를 수 있습니다.

ETL 작업 및 대화형 세션
요금 예제

ETL 작업: 15분간 실행되고 DPU 6개를 사용하는 AWS Glue Apache Spark 작업이 있습니다. DPU 시간당 요금은 0.44 USD입니다. 작업이 한 시간의 1/4 동안 실행되었고 6개 단위의 DPU를 사용했으므로 DPU 6개 * 1/4시간 * 0.44 USD 또는 0.66 USD가 청구됩니다.

AWS Glue Studio Job Notebooks 및 대화형 세션: AWS Glue Studio에서 노트북을 사용하여 대화형으로 ETL 코드를 개발한다고 가정합니다. 대화형 세션에는 기본적으로 5개 단위의 DPU가 포함됩니다. 세션을 24분, 즉 2/5시간 동안 실행하는 경우 DPU 시간당 0.44 USD를 기준으로 5개 DPU * 2/5시간, 즉 0.88 USD가 청구됩니다.

기계 학습 변환: AWS Glue 작업 실행과 유사하게 데이터에서 FindMatches를 포함한 ML 변환 실행 비용은 데이터 크기, 데이터 내용 및 사용하는 노드 수와 유형에 따라 다릅니다. 다음 예에서는 FindMatches를 사용하여 여러 데이터 원본의 관심 지점 정보를 통합했습니다. 1,100만 개 행 이하(1.6GB)의 데이터 세트 크기, 8,000행 이하(641KB)의 레이블 데이터 크기(실제 일치 또는 실제 일치 안 함 예)를 사용하여 유형 G.2x의 16개 인스턴스에서 실행하면 34분의 레이블 세트 생성 런타임은 8.23 USD이고 11분의 지표 추정 런타임은 2.66 USD이며 32분의 FindingMatches 작업 실행 런타임은 7.75 USD입니다.
데이터 카탈로그
요금 예제

AWS Glue 데이터 카탈로그 프리 티어: 어떤 달에 데이터 카탈로그에 1백만 개의 테이블을 저장하고 이러한 테이블에 액세스하도록 1백만 번의 요청을 수행한다고 가정해 보겠습니다. 사용량이 AWS Glue 데이터 카탈로그 프리 티어 범위 내에 있으므로 0 USD를 지불하게 됩니다. 매월 무료로 처음 1백만 개의 객체를 저장하고 1백만 번의 요청을 수행할 수 있습니다.

AWS Glue 데이터 카탈로그: 이제 스토리지 사용량은 월별 1백만 개의 테이블 그대로이지만, 요청이 두 배 증가하여 월별 2백만 건이라고 가정해 보겠습니다. 또한 크롤러를 사용하여 새로운 테이블을 찾고 크롤러가 30분 동안 실행되며 2개의 DPU를 사용한다고 가정해 보겠습니다.

처음 1백만 개의 테이블에 대한 스토리지가 무료이므로 스토리지 비용은 여전히 0 USD입니다. 처음 1백만 건의 요청도 무료입니다. 프리 티어를 초과하는 1백만 건의 요청에 대해 1 USD의 요금이 청구됩니다. 크롤러에는 DPU 시간당 0.44 USD가 청구됩니다. 따라서 DPU 시간당 0.44 USD를 기준으로 2 DPU * 1/2시간의 비용, 즉 0.44 USD가 청구됩니다.

Glue 테이블에 대한 통계를 생성하고 통계 실행에 10분이 걸리며 DPU 1개를 사용하는 경우 1 DPU * 1/6시간 * 0.44 USD/DPU-시간에 해당하는 0.07 USD가 청구됩니다.

Apache Iceberg 테이블을 압축하고 압축을 30분 동안 실행하며 DPU 2개를 사용하는 경우 DPU 2개 * 1/2시간 * 0.44 USD/DPU-시간에 해당하는 0.44 USD가 청구됩니다.
크롤러
DataBrew 대화형 세션
요금 예제

AWS Glue DataBrew: 30분 대화형 세션당 요금은 1.00 USD입니다. 오전 9:00에 세션을 시작하고 즉시 콘솔에서 나간 후 오전 9:20~오전 9:30에 돌아올 경우 1개 세션이 활용되고 총 요금은 1 USD입니다.

오전 9:00에 세션을 시작하고 오전 9:50까지 DataBrew 콘솔에서 상호 작용한 후 DataBrew 프로젝트 공간에서 나갔다가 오전 10:15에 돌아와서 마지막으로 상호 작용하는 경우 3개 세션이 활용되고 세션당 1 USD의 요금으로 총 3 USD가 청구됩니다.
DataBrew 작업
요금 예제

AWS Glue DataBrew: DataBrew 작업을 10분간 실행하고 5개의 DataBrew 노드를 소비하는 경우 요금은 0.40 USD입니다. 작업에 1/6시간이 걸렸고 5개의 노드를 사용했으므로 노드 시간당 0.48 USD로 노드 5개 * 1/6시간, 총 0.40 USD가 청구됩니다.
데이터 품질
요금 예제

예제 1 – 데이터 카탈로그의 테이블에 대한 권장 사항 가져오기

예를 들어 10분 안에 완료되는 5개의 DPU가 있는 추천 작업을 생각해 보십시오. 5 DPU * 1/6시간 * 0.44 USD를 지불하게 되며 이는 0.37 USD과 같습니다.

예제 2 – 데이터 카탈로그에서 테이블의 데이터 품질 평가

권장 사항을 검토한 후 필요한 경우 편집한 다음 DPU를 프로비저닝하여 데이터 품질 작업을 예약할 수 있습니다. 예를 들어 20분 안에 완료되는 5개의 DPU가 있는 데이터 품질 평가 작업을 생각해 보십시오.

5 DPU * 1/3시간 * 0.44 USD를 지불하게 되며 이는 0.73 USD과 같습니다.

예제 3 – AWS Glue ETL 작업에서 데이터 품질 평가

이러한 데이터 품질 검사를 AWS Glue ETL 작업에 추가하여 잘못된 데이터가 데이터 레이크에 들어가는 것을 방지할 수도 있습니다. AWS Glue Studio에서 Data Quality Transform을 추가하거나 AWS Glue Studio 노트북에서 작성한 코드 내에서 AWS Glue API를 사용하여 이를 수행할 수 있습니다. 6개의 DPU로 20분(1/3시간) 동안 실행되는 파이프라인 내에서 데이터 품질 규칙이 구성된 곳에서 실행되는 AWS Glue 작업을 생각해 보십시오. 6 DPU * 1/3시간 *0.44 USD가 청구되며 이는 0.88 USD와 같습니다 또는 Flex를 사용할 수 있으며 이에 대해 6 DPU * 1/3시간 * 0.29 USD(0.58 USD)가 청구됩니다.