Amazon Kinesis Data Analytics

서버리스 Apache Flink로 스트리밍 데이터에서 실행 가능한 통찰력 확보

Amazon Kinesis Data Analytics는 Apache Flink를 통해 실시간으로 스트리밍 데이터를 변환 및 분석할 수 있는 가장 쉬운 방법입니다. Apache Flink는 데이터 스트림 처리를 위한 오픈 소스 프레임워크 및 엔진입니다. Amazon Kinesis Data Analytics는 Apache Flink 애플리케이션을 빌드 및 관리하고 다른 AWS 서비스와 통합하는 데 따르는 복잡성을 줄여줍니다.

Amazon Kinesis Data Analytics는 스트리밍 애플리케이션의 지속적 실행에 필요한 모든 작업을 처리하며, 수신 데이터의 볼륨과 처리량에 맞춰 자동으로 확장됩니다. Amazon Kinesis Data Analytics를 사용하면 서버를 관리할 필요가 없고, 최소 요금이나 설치 비용도 없으며, 스트리밍 애플리케이션이 소비하는 리소스에 대해서만 결제하면 됩니다.

개념 증명 또는 평가를 위한 지원 요청 >>

이점

강력한 실시간 처리

Amazon Kinesis Data Analytics에는 고급 분석을 위해 스트리밍 데이터를 필터링, 집계 및 변환하는 기능이 기본적으로 제공됩니다. 또한 1초 미만의 지연 시간으로 스트리밍 데이터를 처리하므로 수신 데이터 및 벤트를 실시간으로 분석 및 대응할 수 있습니다.

서버 관리 불필요

Amazon Kinesis Data Analytics는 서버리스 서비스이므로, 관리할 서버가 없습니다. 또한 완전관리형으로 스트리밍 애플리케이션을 운영하므로 사용자는 인프라를 프로비저닝하거나 관리할 필요가 없습니다. Amazon Kinesis Data Analytics는 짧은 지연 시간으로 수신 데이터를 처리하는 데 필요한 인프라를 자동으로 확장 및 축소합니다.

사용한 만큼만 비용 지불

Amazon Kinesis Data Analytics에서는 스트리밍 애플리케이션이 사용한 처리 리소스에 대해서만 비용을 지불하면 됩니다. 최소 요금이나 사전 약정은 없습니다.

사용 편의성

Amazon Kinesis Data Analytics를 사용하면 쿼리 및 정교한 스트리밍 애플리케이션을 세 가지 간단한 단계로 쉽고 빠르게 구축할 수 있습니다. 즉, 스트리밍 데이터 원본을 설정하고, 쿼리 또는 스트리밍 애플리케이션을 작성한 후 처리되는 데이터에 대한 대상을 설정하기만 하면 됩니다.

Amazon Kinesis Data Analytics에 포함된 Apache Flink 기반의 오픈 소스 라이브러리 및 런타임을 사용하면 자주 사용하는 IDE로 애플리케이션을 몇 개월이 아닌 몇 시간 만에 구축할 수 있습니다. 확장 가능한 라이브러리에는 상태 저장 스트림 처리, 스트리밍 ETL, 실시간 분석 등의 다양한 사용 사례에 특화된 API가 포함되어 있습니다. 이러한 라이브러리를 사용하면 Amazon Managed Streaming for Apache Kafka(Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Elasticsearch Service, Amazon S3, Amazon DynamoDB 등의 AWS 서비스와 통합할 수 있습니다.

대화식 쿼리에 표준 SQL 사용

Amazon Kinesis Data Analytics에 제공되는 템플릿과 대화식 편집기를 활용하면 조인, 일정 기간 동안의 집계, 필터링 등을 수행하는 SQL 쿼리를 구축할 수 있습니다. 분석 작업에 적합한 템플릿을 선택하고 SQL 편집기를 사용하여 제공된 코드를 편집하여 특정 사용 사례에 맞게 사용자 지정하면 됩니다. 코드를 한 줄도 작성하지 않고도 SQL 결과를 AWS Lambda, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose 등의 다른 AWS 서비스로 전송할 수 있습니다.

Apache Beam을 사용하여 스트리밍 애플리케이션 구축

Amazon Kinesis Data Analytics는 서버리스 Apache Flink 환경에서 Apache Beam의 Java SDK를 통해 구축된 스트리밍 애플리케이션 실행을 지원합니다. Apache Beam은 여러 실행 엔진에서 실행할 수 있는 스트리밍 및 배치 데이터 처리 애플리케이션을 정의하기 위한 통합된 오픈 소스 모델입니다. Java로 Apache Beam 스트리밍 애플리케이션을 손쉽게 구축하고 이를 Amazon Kinesis Data Analytics 및 기타 실행 엔진에서 실행할 수 있습니다.

작동 방식

Amazon Kinesis Data Analytics 작동 방식

사용 사례

스트리밍 ETL

스트리밍 데이터의 변환, 집계 및 필터링을 위한 Amazon Kinesis Data Analytics 기본 제공 연산자를 사용하여 스트리밍 Extract-Transform-Load(ETL) 애플리케이션을 개발할 수 있습니다. 기본 제공 커넥터를 사용하여 몇 초 만에 Amazon Kinesis Data Streams, Amazon Managed Streaming for Apache Kafka(Amazon MSK), Amazon Elasticsearch Service, Amazon S3, 사용자 지정 통합 등에 데이터를 쉽게 전달할 수 있습니다.

John Deere가 농업용 장비에서 IoT 센서 수치를 추출하고, 이 데이터를 실시간으로 유용한 고객 정보로 변환하며, 변환된 데이터를 데이터 레이크로 로드하는 방법을 확인할 수 있습니다.

실시간 분석

표준 SQL을 사용하여 스트리밍 데이터를 대화식으로 쿼리하고 Java 및 Scala를 사용하여 Apache Flink 애플리케이션을 구축하며, Java로 Apache Beam 애플리케이션을 구축하여 데이터 스트림을 분석할 수 있습니다.

로그 모니터링웹 분석에 대한 실시간 분석 솔루션 요약을 확인하십시오.

상태 저장 이벤트 처리

하나 이상의 데이터 스트림에서 이벤트를 처리하고 조건부 처리 및 외부 작업을 트리거하는 애플리케이션을 개발할 수 있습니다. 복잡한 이벤트 처리를 위해 표준 SQL 및 Apache Flink 라이브러리를 사용하여 데이터 스트림에서 이상 탐지와 같은 패턴을 식별할 수 있습니다.

Zynga가 플레이어 작업에 의해 트리거된 게임 이벤트를 처리하는 방법을 확인하십시오.

고객

Autodesk 사례 연구
Autodesk는 사용자 경험 모니터링을 위해 응답 시간 및 오류 비율 급증 조건과 같은 실시간 모니터링 지표를 계산합니다.
사례 연구 보기 
Zynga
Fox는 Super Bowl과 같은 라이브 비디오 스트리밍 이벤트에 대한 실시간 시청자 분석 자료를 계산합니다.
블로그 게시물 읽기 
Zynga
Zynga는 플레이어 동작에 따라 트리거된 실시간 게임 이벤트를 대규모로 분석합니다.
동영상 보기 
Palringo 사례 연구
실시간 지표를 사용하여 모바일 커뮤니티 게임 앱에 대한 사용자 인게이지먼트를 늘립니다.
사례 연구 보기 
Gunosy 블로그 게시물
Gunosy는 최종 사용자를 위한 신속하고 개인화된 뉴스 큐레이션을 위해 분당 500,000개 이상의 레코드를 처리합니다.
블로그 게시물 읽기 

Amazon Kinesis Data Analytics 시작하기

AWS 계정에 가입
AWS 계정에 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다.

시작 안내서 읽기
시작 안내서 검토

SQL 또는 Apache Flink에 대한 단계별 안내서에서 Amazon Kinesis Data Analytics의 사용 방법을 알아보십시오.

Amazon Kinesis Data Analytics 구축 시작
스트리밍 애플리케이션 구축 시작

Amazon Kinesis Data Analytics 콘솔에서 스트리밍 애플리케이션을 구축합니다.