Amazon Kinesis Data Analytics는 데이터 스트림 처리를 위한 오픈 소스 프레임워크 및 엔진인 Apache Flink를 사용하여 스트리밍 데이터를 실시간으로 변환하고 분석하는 가장 쉬운 방법입니다. Amazon Kinesis Data Analytics는 Apache Flink 워크로드의 구축 및 관리를 단순화하고 애플리케이션을 다른 AWS 서비스와 쉽게 통합할 수 있도록 합니다.

Amazon Kinesis Data Analytics를 사용하는 경우 사용한 만큼만 비용을 지불합니다. 프로비저닝할 리소스가 없고 선결제 비용도 없습니다. 애플리케이션 실행에 사용하는 Kinesis 처리 단위(또는 KPU)의 개수에 따라 시간당 요금이 청구됩니다. 단일 KPU는 vCPU 컴퓨팅 1개와 메모리 4GB로 구성됩니다.

Apache Flink 애플리케이션의 경우 오케스트레이션에 사용되는 애플리케이션별로 단일 추가 KPU 요금이 청구됩니다. 스토리지 및 내구성 있는 백업 실행에 대한 비용도 애플리케이션에 부과됩니다. 실행 중인 애플리케이션 스토리지는 Amazon Kinesis Data Analytics의 상태 저장 처리 기능에 사용되며 GB/월 단위로 청구됩니다. 내구성 있는 백업은 선택 사항이며 애플리케이션에 대한 특정 시점 복구를 제공하며 GB/월 단위로 청구됩니다.

스트리밍 모드에서 Amazon Kinesis Data Analytics는 메모리 및 컴퓨팅 요구 사항이 변함에 따라 스트림 처리 애플리케이션에 필요한 KPU 수를 자동으로 조정합니다. 필요한 KPU 수로 애플리케이션을 프로비저닝하도록 선택할 수 있습니다.

Amazon Kinesis Data Analytics Studio 요금

대화형 모드에서는 Studio 애플리케이션당 2개의 추가 KPU 요금이 부과됩니다. KPU 1개는 Apache Flink 애플리케이션 오케스트레이션에 사용되고 다른 1개는 서버리스 대화형 개발 환경에 사용됩니다. 상태 저장 처리 기능에 사용되는 애플리케이션 스토리지 실행 요금도 부과됩니다. 애플리케이션 스토리지 실행 요금은 GB/월 단위로 부과됩니다.

Studio 노트북에서 개발하는 경우 내구성 있는 애플리케이션 백업을 생성하는 옵션을 사용할 수 없습니다. 그러나 대화형 모드에서 스트리밍 모드로 Studio 노트북에 애플리케이션을 배포하면 내구성 있는 애플리케이션 백업을 생성할 수 있습니다.

KPU 사용량에 대한 일반 지침

애플리케이션에 필요한 KPU 수를 정확하게 추정하려면 프로덕션 로드로 애플리케이션을 테스트하는 것이 좋습니다. KPU 사용량은 데이터 볼륨 및 속도, 코드 복잡성, 통합 등에 따라 상당히 달라질 수 있습니다. Amazon Kinesis Data Analytics에서 Apache Flink 런타임을 사용하는 경우에는 특히 그렇습니다. 예를 들어 내부 테스트 결과, 상태가 없는 단순한 애플리케이션의 경우에는 KPU별로 초당 수백 MB의 처리량이 관찰되었으며, 기계 학습(ML) 알고리즘을 많이 사용하는 복잡한 애플리케이션의 경우에는 KPU별로 초당 1MB 미만의 처리량이 관찰되었습니다. 이러한 사항을 감안하여 애플리케이션 테스트 전에 제공하는 일반 지침은 KPU별로 초당 1MB입니다.

리전별 요금

요금 예제

요금 예제 1: 간단한 스트리밍 필터가 포함된 Studio 노트북

사용자가 Amazon Kinesis Data Analytics Studio를 사용하여 Kinesis Data Stream에서 캡처한 스트리밍 데이터를 지속적으로 필터링하고 원하는 레코드만 유지합니다. 레코드를 실시간으로 보고 시각화하는 기능과 SQL 및 Python으로 쿼리 및 프로그램을 손쉽게 작성할 수 있는 기능을 원합니다. 내구성 있는 상태 백업은 원하지 않습니다. 입력 스트림의 처리량에 따라 Studio 노트북에 사용할 KPU 4개를 프로비저닝합니다. 이 경우 월별 Kinesis Data Analytics 요금은 다음과 같이 계산됩니다.

월별 요금

미국에서의 가격 동부(버지니아 북부) 리전은 스트림 처리 애플리케이션에 사용된 KPU/시간당 0.11 USD입니다. 이 간단한 애플리케이션은 수신 데이터 스트림 처리에 4개의 KPU를 사용합니다. 각 Studio 노트북 애플리케이션(예: 대화형 모드)에는 애플리케이션당 추가 2개의 KPU 요금이 부과됩니다. 월별 KPU 요금 = 30일 * 24시간 * ((KPU 4개 + 추가 KPU 2개) * 0.11 USD/시간) = 475.20 USD

Apache Flink 애플리케이션은 KPU당 50GB의 실행 중인 애플리케이션 스토리지를 사용하고, US-East-1에서 월별 GB당 0.10 USD의 요금이 부과됩니다.

월별 실행 중인 애플리케이션 스토리지 요금 = 30일 * 24시간 * KPU 4개 * (50GB * 월별 GB당 0.10 USD) = 20.00 USD 

요금 합계 = 475.20 USD + 20.00 USD = 495.20 USD

 

요금 예제 2: 스트리밍 모드에 배포된 슬라이딩 창이 있는 Studio 노트북

Kinesis Data Analytics Studio를 사용하여 Amazon Managed Streaming for Apache Kafka(Amazon MSK) 클러스터의 주제에서 캡처한 스트리밍 데이터에 대한 슬라이딩 윈도우를 구축합니다. 4개의 KPU가 포함된 Studio 노트북을 이틀에 걸쳐 8시간 동안 사용하여 쿼리를 개발하고 테스트합니다. 개발 후 12개의 KPU가 있는 스트리밍 애플리케이션으로 애플리케이션을 배포합니다. 스트리밍 애플리케이션이 배포된 후 Studio 노트북을 중지합니다. 스트리밍 애플리케이션은 지속 가능한 애플리케이션 상태를 사용할 수 있으며 매일 지속 가능한 상태 백업을 생성합니다.

미국에서의 가격 동부(버지니아 북부) 리전은 스트림 처리 애플리케이션에 사용된 KPU/시간당 0.11 USD입니다.

월별 요금

쿼리 Kinesis Data Analytics Studio 개발 및 테스트:
KPU 요금 = 2일 * 8시간 * (KPU 4개 + Studio 노트북용 추가 KPU 2개) * 0.11 USD/시간) = 10.56 USD

Apache Flink 애플리케이션은 KPU당 50GB의 실행 중인 애플리케이션 스토리지를 사용하고, US-East-1에서 월별 GB당 0.10 USD의 요금이 부과됩니다.

실행 중인 애플리케이션 스토리지 요금 = 2일 * 8시간 * KPU 4개 * (50GB * 월별 GB당 0.10 USD) = 0.44 USD

지속적으로 실행하고 애플리케이션 백업을 수행하기 위해 스트리밍 애플리케이션으로 배포:

KPU 요금 = 28일 * 24시간 * (KPU 2개 + 스트리밍 애플리케이션용 추가 KPU 1개) * 0.11 USD/시간) = 221.76 USD

Apache Flink 애플리케이션은 KPU당 50GB의 실행 중인 애플리케이션 스토리지를 사용하고, US-East-1에서 월별 GB당 0.121 USD의 요금이 부과됩니다.

실행 중인 애플리케이션 스토리지 요금 = 28일 * 24시간 * KPU 2개 * (50GB * 월별 GB당 0.10 USD) = 9.33 USD

내구성 있는 애플리케이션 스토리지 요금 = 28 * (1MB/백업 * 1GB/1,000MB) * 월별 GB당 0.023 USD = 0.01 USD(근사한 센트 단위로 반올림)

요금 합계 = 10.56 USD + 0.44 USD + 221.76 USD + 9.33 USD + 0.01 USD = 242.10 USD

Kinesis Data Analytics에서 Apache Flink 애플리케이션을 사용하여 Kinesis Data Stream에서 캡처한 로그 데이터를 Amazon Simple Storage Service(Amazon S3)로 지속적으로 변환하고 전달합니다. 로그 데이터는 다른 로그 이벤트에 대한 스키마 적용, 이벤트 유형별 데이터 파티셔닝, 타임스탬프별 데이터 정렬 및 전송 1시간 전 데이터 버퍼링을 포함한 여러 연산자를 사용하여 변환됩니다. 애플리케이션에는 여러 변환 단계가 있지만 컴퓨팅 집약적인 단계는 없습니다. 이 스트림은 하루 12시간 동안 초당 2,000개의 레코드에 있는 데이터를 수집하고, 이를 하루 12시간 동안 초당 8,000개의 레코드로 늘립니다. 내구성 있는 애플리케이션 백업은 생성하지 않습니다. 월별 Kinesis Data Analytics 요금은 다음과 같이 계산됩니다.

월별 요금

미국에서의 가격 동부(버지니아 북부) 리전은 KPU-시간당 0.11 USD입니다. Kinesis Data Analytics는 KPU당 50GB의 실행 중인 애플리케이션 스토리지를 할당하고, 월별 GB당 요금은 0.10 USD입니다.

과중한 워크로드: 12시간의 과중한 워크로드 기간에 Kinesis Data Analytics 애플리케이션은 초당 8,000개의 레코드를 처리하고 자동으로 8개의 KPU까지 확장됩니다. 과중한 워크로드 기간 이후 Kinesis Data Analytics 애플리케이션은 처리량이 6시간 동안 낮아진 이후 애플리케이션의 크기를 축소합니다. 애플리케이션은 하루 총 18시간 동안 8개의 KPU로 확장됩니다.

30일/월 * 18시간/일 = 540시간/월

월별 KPU 요금 = 540시간/월 * KPU 8개 * 0.11 USD/시간 = 475.20 USD

월별 실행 중인 애플리케이션 스토리지 요금 = 540시간/월 * KPU 8개 * 50GB/KPU * 월별 GB당 0.10 USD = 30.00 USD

월별 KPU 및 스토리지 요금 = 475.20 USD + 30.00 USD = 505.20 USD

가벼운 워크로드: 남은 6시간의 가벼운 워크로드 기간에 Kinesis Data Analytics 애플리케이션은 초당 2,000개의 레코드를 처리하고 자동으로 KPU 2개까지 축소됩니다.

30일/월 * 6시간/일 = 180시간/월

월별 KPU 요금 = 180시간/월 * KPU 2개 * 0.11 USD/시간 = 39.60 USD

월별 실행 중인 애플리케이션 스토리지 요금 = 180시간/월 * KPU 2개 * 50GB * 월별 GB당 0.10 USD = 2.50 USD

월별 KPU 및 스토리지 요금 = 39.60 USD + 2.50 USD = 42.10 USD

각 Apache Flink 애플리케이션은 애플리케이션당 추가 KPU에 대한 요금이 부과됩니다.

월별 요금 = 30 * 24 * 1 KPU * 0.11 USD/시간 = 79.20 USD

요금 합계 = 505.20 USD + 42.10 USD + 79.20 USD = 626.50 USD

요금 예제 4: 슬라이딩 윈도우 및 워크로드 급증이 있는 SQL 애플리케이션용 Kinesis Data Analytics

SQL 애플리케이션용 Kinesis Data Analytics를 사용하여 Kinesis 스트림에서 캡처된 온라인 쇼핑 트랜잭션에서 판매된 항목의 1분 슬라이딩 윈도우 합계를 계산합니다. 이 스트림은 보통 초당 레코드 1,000개의 속도로 데이터를 수집하지만, 데이터는 하루에 한 번 프로모션 캠페인 중에 1시간 미만 동안 초당 레코드 6,000개의 속도로 급증합니다. 월별 Kinesis Data Analytics 요금은 다음과 같이 계산됩니다.

월별 요금

미국에서의 가격 동부(버지니아 북부) 리전은 스트림 처리 애플리케이션에 사용된 KPU/시간당 0.11 USD입니다. 수신 Kinesis 데이터 스트림은 초당 레코드 1,000개의 속도로 데이터를 전송합니다. 하지만 하루에 한 번 1시간 미만 동안 스트림이 초당 레코드 6,000개로 급증합니다.

하루 24시간 중 23시간 동안 발생하는 "안정적 상태"의 경우 슬라이딩 윈도우 쿼리는 KPU 1개를 사용하여 이 시간 동안의 워크로드를 처리합니다.

30일/월 * 23시간/일 = 690시간/월 
안정적 상태 = 690시간/월 * (1개의 KPU * 0.11 USD/시간) = 75.90 USD

하루 24시간 중 1시간 동안 발생하는 "급증 상태"의 경우 슬라이딩 윈도우 쿼리는 1~2개의 KPU를 사용합니다. 이 경우 하루 24시간 중 1시간은 2개의 KPU에 대한 요금이 부과됩니다.

30일/월 * 1시간/일 = 30시간/월 
급증 상태 = 30시간/월 * (2개의 KPU * 0.11 USD/시간) = 6.60 USD

요금 합계 = 75.90 USD + 6.60 USD = 82.50 USD

참고: AWS는 Amazon Kinesis Data Analytics 애플리케이션에서 송수신되는 데이터에 대해 표준 AWS 데이터 전송 비용을 청구할 권리가 있습니다.

추가적인 요금 리소스

AWS 요금 계산기

AWS의 월별 비용을 손쉽게 계산

경제성 리소스 센터

AWS로의 전환을 위한 추가 리소스

Amazon Kinesis Data Analytics 시작하기

AWS 계정에 가입
AWS 계정에 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다.

시작 안내서 읽기
시작 안내서 검토

SQL 또는 Apache Flink에 대한 단계별 안내서에서 Amazon Kinesis Data Analytics의 사용 방법을 알아보십시오.

Amazon Kinesis Data Analytics 구축 시작
스트리밍 애플리케이션 구축 시작

Amazon Kinesis Data Analytics 콘솔에서 스트리밍 애플리케이션을 구축합니다.