Amazon Data Firehose를 사용할 때는 해당 서비스로 모으는 데이터 볼륨에 대한 요금만 지불하면 됩니다. 설정 비용이나 사전 약정은 없습니다. Data Firehose를 통한 온디멘드 사용량에는 모으기, 형식 변환, VPC 전송, 동적 파티셔닝이라는 네 가지 유형이 있습니다. 추가 데이터 전송 요금이 적용될 수 있습니다.
Direct PUT 및 KDS를 소스로 사용한 모으기
Firehose 스트림의 기본 기능은 모으기와 전송입니다. 모으기 요금은 구간별로 책정되며 모은 GB당 요금이 5KB 단위로 청구됩니다(예를 들어 3KB 레코드는 5KB로 청구되며 12KB는 15KB로 청구). 선택적 기능을 사용하지 않는 한, 전송에 대한 추가 Data Firehose 요금은 없습니다.
MSK를 소스로 사용한 모으기
Firehose 스트림의 기본 기능은 모으기와 전송입니다. 모으기 요금은 구간별로 책정되며 5KB 증분 단위 없이 모은 GB당 청구됩니다. 요금은 구간별로 책정되며 수집된 바이트와 전송된 바이트 중에서 높은 값을 기준으로 GB당 요금이 청구됩니다. 청구는 데이터 볼륨을 기준으로 하며, 레코드 크기 반올림은 없습니다.
Vended 로그를 소스로 사용한 수집
Vended 로그에서 시작된 레코드의 경우 수집 요금은 단계별로 적용되며 5KB 증분 단위 없이 수집된 GB당 청구됩니다.
형식 변환(선택 사항)
5KB 단위로 수집된 GB를 기준으로 한 GB당 요금으로 Apache Parquet 또는 Apache ORC 형식 변환에 JSON을 사용할 수 있습니다.
VPC 전송(선택 사항)
Amazon VPC에 상주하는 대상을 사용하는 Firehose 스트림의 경우 각 AZ에서 Firehose 스트림이 활성인 매 시간마다 VPC의 대상으로 전송된 데이터의 양에 대해 요금이 청구됩니다. 1시간 미만의 시간은 1시간으로 청구됩니다.
Amazon S3 전송을 위한 동적 파티셔닝(선택 사항)
동적 파티셔닝을 활성화하면 레코드의 파티션 키(예: ‘customer_id’)로 데이터를 지속적으로 그룹화하고, 파티셔닝 키로 그룹화된 데이터를 해당하는 Amazon S3 접두사로 전송할 수 있습니다. 동적 파티셔닝을 사용할 때는 동적 파티셔닝을 통해 처리된 데이터 양과 Amazon S3에 전송된 객체당 요금이 부과됩니다. 동적 파티셔닝에 JQ 파서를 사용하는 경우 JQ 구문 분석에 대한 처리 시간당 요금이 부과됩니다.
CloudWatch Logs 압축 해제(선택 사항)
CloudWatch Logs에서 시작된 레코드의 경우 압축 해제를 활성화하면 압축 해제된 GB 단위로 압축 해제 요금이 부과됩니다.
Snowflake를 대상으로 사용
Snowflake가 대상으로 구성된 Firehose 스트림의 경우 대상에서 처리된 데이터의 양에 대해 요금이 청구됩니다. 요금은 5KB 단위 증분 없이 모은 GB당 청구됩니다. 수집된 바이트와 전송된 바이트 중에서 높은 값을 기준으로 요금이 청구됩니다.
Apache Iceberg 테이블을 대상으로 사용
Apache Iceberg 테이블이 대상으로 구성된 Firehose 스트림의 경우 대상에서 처리된 데이터의 양에 대해 요금이 청구됩니다. 요금은 5KB 단위 증분 없이 수집된 GB당 청구됩니다. 전송 전에 처리된 데이터의 바이트가 사용자 지정 Lambda 처리로 인해 수집된 바이트보다 많으면 추가 바이트에도 청구됩니다. 추가 바이트는 Direct PUT을 비롯한 모든 수집 소스의 대상으로 사용되는 Apache Iceberg 테이블의 소스로 Kinesis Data Streams에 표시된 것과 동일한 요율로 청구됩니다.
-
Direct PUT
-
Kinesis Data Stream을 소스로 사용
-
Vended 로그를 소스로 사용
-
MSK를 소스로 사용
-
Direct PUT
-
-
Apache Iceberg 테이블을 대상으로 사용
-
Snowflake를 대상으로 사용
-
기타 대상
-
Apache Iceberg 테이블을 대상으로 사용
-
-
Snowflake를 대상으로 사용
-
-
기타 대상
-
-
-
Kinesis Data Stream을 소스로 사용
-
-
Apache Iceberg 테이블을 대상으로 사용
-
Snowflake를 대상으로 사용
-
기타 대상
-
Apache Iceberg 테이블을 대상으로 사용
-
-
Snowflake를 대상으로 사용
-
-
기타 대상
-
-
-
Vended 로그를 소스로 사용
-
-
Apache Iceberg 테이블을 대상으로 사용
-
기타 대상
-
Apache Iceberg 테이블을 대상으로 사용
-
-
기타 대상
-
-
-
MSK를 소스로 사용
-
-
Apache Iceberg 테이블을 대상으로 사용
-
기타 대상
-
Apache Iceberg 테이블을 대상으로 사용
-
-
기타 대상
-
-
요금 예
Direct PUT 및 KDS를 소스로 사용할 때의 수집 요금
3KB의 레코드 크기를 수집된 5KB 단위로 올림 처리 = 5KB
처음 500TB/월 가격 = GB당 0.029 USD
수집 데이터에 대해 청구된 GB = (레코드 100개/초 * 5KB/레코드) / 104만 8,576KB/GB * 30일/월 * 8만 6,400초/일 = 1,235.96GB
월별 수집 요금 = 1,235.96GB * 0.029 USD/GB = 35.84 USD
MSK를 소스로 사용할 때의 수집 요금
2KB의 레코드 크기(5KB 증분 없음)
처음 500TB/월 가격 = GB당 0.055 USD
수집 데이터에 대해 청구된 GB(전송 데이터와 데이터 볼륨이 같다고 가정) = (레코드 100개/초 * 2KB/레코드) / 104만 8,576KB/GB * 30일/월 * 8만 6,400초/일 = 494.38GB
월별 데이터 볼륨 요금 = 494.38GB * 0.055 USD/GB = 27.19 USD
Vended 로그를 소스로 사용할 때의 수집 요금
0.5KB(500바이트)의 레코드 크기 =0.5KB(5KB 단위 증분 없음)
처음 500TB/월 가격 = GB당 0.13 USD
수집에 대해 청구된 GB = (레코드 100개/초 * 0.5KB/레코드) / 1,048,576KB/GB * 30일/월 * 8만 6,400초/일 = 123,59GB
월 모으기 요금 = 123.59GB * 0.13 USD/GB = 16.06 USD
Snowflake를 대상으로 사용할 때의 요금
0.5KB(500바이트)의 레코드 크기 =0.5KB(5KB 단위 증분 없음)
Snowflake로 전송된 GB당 요금 = GB당 0.071 USD
모으기에 대해 청구된 GB = (레코드 100개/초 * 0.5KB/레코드) / 104만 8,576KB/GB * 30일/월 * 8만 6,400초/일 = 123.59GB
월 수집 요금 = 123.59GB * 0.13 USD/GB = 8.77 USD
대상으로 사용되는 Apache Iceberg 테이블 요금
0.5KB(500바이트)의 레코드 크기 = 0.5KB(5KB 단위 증분 없음)
소스로 사용되는 Kinesis Data Streams에서 Apache Iceberg 테이블로 전송한 GB당 요금 = GB당 0.045 USD
수집에 대해 청구된 GB = (레코드 100개/초 * 0.5KB/레코드) / 1,048,576KB/GB * 30일/월 * 86,400초/일 = 123.59GB
월별 수집 요금 = 123,59GB * 0.045 USD/GB = 5.56 USD
형식 변환 요금: JSON에서 Parquet 또는 ORC(선택 사항)
0.5KB(500바이트)의 레코드 크기 =0.5KB(5KB 단위 증분 없음)
처음 500TB/월 가격 = GB당 0.13 USD
수집에 대해 청구된 GB = (레코드 100개/초 * 0.5KB/레코드) / 1,048,576KB/GB * 30일/월 * 8만 6,400초/일 = 123,59GB
월별 수집 요금 = 123,59GB * 0.13 USD/GB = 16.06 USD
데이터 형식 변환은 데이터 수집의 선택적 추가 기능이며 수집에 대해 청구된 GB를 사용하여 비용을 계산합니다.
수집된 GB당 변환 가격 = 0.018 USD
월별 형식 변환 요금 = 1,235.96GB * 0.018 USD/변환된GB = 22.25 USD
VPC 전송 요금(선택 사항)
VPC 전송은 데이터 모으기의 선택적 추가 기능이며 VPC의 대상으로 전송된 GB를 사용하여 비용을 계산합니다.
VPC의 대상으로 전송된 GB당 요금 = 0.01 USD
VPC 전송의 AZ 시간당 요금 = 0.01 USD
월별 VPC 처리 요금 = 1,235.96GB * 0.01 USD/처리된 GB = 12.35 USD
월별 VPC 시간당 요금 = 24시간 * 30일/월 * 3 AZ = 2,160시간 * 0.01 USD/시간= 21.60 USD 월별 총 VPC 요금 = 33.95 USD
동적 파티셔닝 요금(선택 사항)
동적 파티셔닝은 데이터 모으기의 선택적인 추가 기능으로, 동적 파티셔닝을 통해 처리된 GB, S3에 전송된 객체 수 및 JQ 처리 시간(선택 사항)을 사용하여 비용을 계산합니다. 이 예제에서는 Firehose 스트림 버퍼 힌트 구성 결과로 64MB 객체가 전송된다고 가정합니다.
Firehose 스트림에서 Lambda를 사용한 데이터 변환, 형식 변환 또는 압축과 같은 선택적 기능을 사용하는 경우 동적 파티셔닝을 통해 처리되는 데이터의 양이 소스에서 모은 데이터의 양 또는 대상으로 전송된 데이터의 양과 다를 수 있습니다. 동적 파티셔닝 전후에 수행되는 이 추가 데이터 처리 단계에서 차이가 발생할 수 있습니다.
동적 파티셔닝을 통해 처리된 GB당 요금 = 0.020 USD
0.005 USD에 전송된 S3 객체 1,000개당 요금 = 0.005 USD
JQ 처리 시간당 요금 = 0.07 USD
동적 파티셔닝을 통해 처리된 월 용량 = (3KB * 레코드 100개 / 초) / 104만 8,576KB/GB * 8만 6,400초/일 * 30일/월 = 741.58GB
동적 파티셔닝을 통해 처리된 GB에 대한 월별 요금 = 741.58GB * 동적 파티셔닝을 통해 처리된 GB당 0.02 USD = 14.83 USD
전송된 객체 수 = 741.58GB * 1,024MB/GB / 64MB 객체 크기 = 객체 1만 1,866개
월별 S3에 전송된 객체 요금 = 11,866개 객체 * 0.005 USD/1000개 객체 = 0.06 USD
월별 JQ 요금(활성화된 경우) = 소비한 JQ 시간 70시간/월 * 0.07 USD/JQ 처리 시간 = 4.90 USD
CloudWatch Logs 압축 해제
CloudWatch Logs는 gzip 압축 형식으로 데이터를 전송합니다. Data Firehose 압축 해제 기능은 데이터를 압축 해제하며 압축 해제된 GB당 요금을 부과합니다.
월별 사용량 = 압축 해제된 CloudWatch Logs 데이터 10TB
압축 해제된 GB당 요금 = GB당 0.00325 USD(IAD)
월별 압축 해제 요금 = 1만 240GB * 0.00325 USD/GB = 33.28 USD
서비스 수준 계약
FAQ에서 Amazon Data Firehose 서비스 수준 계약의 자세한 내용을 확인하세요.
더 많은 Amazon Data Firehose 리소스 살펴보기