Amazon Kinesis 시작하기

Amazon Kinesis를 사용하면 실시간 스트리밍 데이터를 손쉽게 수집, 처리 및 분석할 수 있으므로 적시에 통찰력을 확보하고 새로운 정보에 신속하게 대응할 수 있습니다. Amazon Kinesis는 모든 규모의 스트리밍 데이터를 비용 효율적으로 처리할 수 있는 핵심 기능과 더불어 애플리케이션 요구 사항에 가장 적합한 도구를 선택할 수 있는 유연성을 제공합니다. Amazon Kinesis에서는 애플리케이션 로그, 웹 사이트 클릭스트림, IoT 텔레메트리 데이터 등과 같은 실시간 데이터를 데이터베이스, 데이터 레이크, 데이터 웨어하우스로 수집하거나 이러한 데이터를 사용하여 자체적으로 실시간 애플리케이션을 구축할 수 있습니다. Amazon Kinesis를 사용하면 모든 데이터가 수집된 후에야 처리를 시작할 수 있는 것이 아니라 데이터가 수신되는 대로 처리 및 분석하여 실시간으로 대응할 수 있습니다.  개념 증명 또는 평가를 위한 지원 요청 »

비용 효율성

Amazon Kinesis를 사용하면 실시간으로 데이터를 수집, 버퍼링 및 처리할 수 있으므로 몇 시간 또는 며칠이 아니라 몇 초 또는 몇 분 만에 통찰력을 얻을 수 있습니다.

완전관리형

Amazon Kinesis는 완전관리형으로 스트리밍 애플리케이션을 운영하므로 사용자는 인프라를 관리할 필요가 없습니다.

확장 가능

Amazon Kinesis는 모든 규모의 스트리밍 데이터를 처리하고 매우 짧은 지연 시간으로 수많은 소스의 데이터를 처리할 수 있습니다.

스트리밍 데이터를 AWS로 손쉽게 로드

자세히 알아보기 »

표준 SQL을 통해 스트리밍 데이터를 간편하게 처리 및 분석

자세히 알아보기 »

스트리밍 데이터를 처리 및 분석하는 사용자 지정 애플리케이션을 구축

자세히 알아보기 »

Amazon Kinesis에서는 기존에 데이터 웨어하우스에서 배치 처리를 사용하거나 하둡 프레임워크를 사용하여 분석하던 데이터에 대해 실시간 분석을 수행할 수 있습니다. 가장 일반적인 사용 사례로는 데이터 레이크, 데이터 과학 및 기계 학습을 들 수 있습니다. Kinesis Firehose를 사용하여 스트리밍 데이터를 지속적으로 S3 데이터 레이크로 로드할 수 있습니다. 또한, 새로운 데이터를 사용할 수 있게 됨에 따라 기계 학습 모델을 좀 더 빈번하게 업데이트를 하여 결과의 정확성과 신뢰성을 보장할 수 있습니다.

diagram-kinesis-architecture-clickstream-analytics-may16
Zillow – Kinesis

Zillow는 Kinesis Streams를 사용하여 공공 기록 데이터와 MLS 목록을 수집하고 거의 실시간으로 주택 가격 추정치를 업데이트하므로주택 구매자와 판매자가 최신 주택 가격 추정치를 확인할 수 있습니다. 또한, Zillow는 Kinesis Firehose를 사용하여 동일한 데이터를 S3 데이터 레이크로 전송하므로 모든 애플리케이션에서 가장 최신 정보를 활용할 수 있습니다. 사례 연구 읽기 »

Hearst – Kinesis

Hearst는 Kinesis Streams, Kinesis Firehose 및 Amazon Elasticsearch Service를 사용해 클릭스트림 분석 솔루션을 구축하여 300개가 넘는 전 세계 Hearst 웹 사이트에서 매일 30테라바이트의 데이터를 전송 및 처리합니다. Hearst는 이 플랫폼으로 웹 사이트 클릭에서 집계된 데이터까지 전체 데이터 스트림을 몇 분 만에 편집자에게 전달할 수 있습니다. 사례 연구 읽기 »


애플리케이션 모니터링, 사기 탐지, 실시간 순위표와 같은 실시간 애플리케이션에 Amazon Kinesis를 사용할 수 있습니다. 밀리초의 엔드 투 엔드 지연 시간으로 Kinesis Streams를 사용하여 스트리밍 데이터를 수집하고, Kinesis Analytics를 사용하여 이를 처리하며, Kinesis Streams를 사용하여 결과를 데이터 스토어나 애플리케이션으로 내보낼 수 있습니다. 이는 고객, 애플리케이션 및 제품이 지금 어떤 상태인지 파악하고 신속하게 대응하는 데 도움이 됩니다.  

diagram-kinesis-architecture-social-media-analytics
Major League Baseball – Kinesis

MLBAM은 Amazon Kinesis를 사용해 Statcast 서비스를 구축하여 매 시즌 페타바이트 규모의 데이터를 분석하고, 팬, 방송 사업자 및 팀이 메이저 리그 야구 경기의 역동성과 운동 능력을 더 잘 이해할 수 있도록 실시간 정보를 제공합니다. 동영상 보기 »

Netflix – Kinesis

Netflix는 Amazon Kinesis를 사용하여 모든 애플리케이션 간 통신을 모니터링함으로써 문제를 신속하게 탐지하고 해결하여 고객을 위한 높은 서비스 가동 시간과 가용성을 보장합니다.


Amazon Kinesis를 사용하여 가전제품, 내장 센서, TV 셋톱박스 등과 같은 IoT 디바이스에서 전송되는 스트리밍 데이터를 처리할 수 있습니다. 그런 다음 센서가 특정 운영 임계값을 초과하는 경우 이 데이터를 사용하여 실시간 알림을 전송하거나 프로그래밍 방식으로 다른 조치를 취할 수 있습니다.

diagram-kinesis-architecture-iot-may16
Sonos – Kinesis

Sonos는 Amazon Kinesis를 사용하여 무선 hi-fi 오디오 디바이스에서 주당 10억 건의 이벤트를 모니터링하고, 고객에게 더 뛰어난 감상 경험을 제공합니다. re:Invent 세션 보기 »

Hello – Kinesis

Hello Inc.는 Kinesis Streams를 사용하여 매트리스에 내장된 센서에서 실시간 데이터를 수집 및 처리하고, Kinesis Firehose를 사용하여 처리된 정보를 Amazon Redshift로 로드합니다. Hello의 고객은 실내 온도와 습도와 같이 수면에 영향을 주는 조건과 수면 패턴을 모니터링함으로써 결과적으로 수면의 질을 높일 수 있습니다. 사례 연구 읽기 »

Amazon Kinesis의 모든 새로운 기능에 관한 정보는 새로운 소식 페이지 참조 »

440x220_APN-Blog

2016년 AWS에서는 Apache 로그를 수집하고 시각화하기 위한 ELK(Amazon Elasticsearch Service, 오픈 소스 도구인 Logstash, Kibana)의 대안으로 EKK 스택(Amazon Elasticsearch Service, Amazon Kinesis, Elastic의 오픈 소스 플러그인인 Kibana)를 소개했습니다. EKK 스택의 주요 기능 중 하나는 데이터 변환이 Amazon Kinesis Firehose 에이전트를 통해 처리된다는 것입니다. 이 게시물에서는 Amazon Kinesis Firehose에서 AWS Lambda를 통해 데이터 변환을 처리하여 EKK 솔루션을 최적화하는 방법을 설명합니다.

전체 게시물 읽기 »

테스트 데이터를 생성하여 Amazon Kinesis로 전송하는 사용자 친화적인 도구가 있다면 얼마나 좋을까요? 이제 Amazon Kinesis Data Generator(KDG)를 사용하면 됩니다.

전체 게시물 읽기 »

Amazon Kinesis Firehose는 실시간 스트리밍 데이터를 Amazon S3, Amazon Redshift 또는 Amazon Elasticsearch Service(Amazon ES)와 같은 대상에 전송하는 완전 관리형 서비스입니다. 이 게시물에서는 수신되는 소스 데이터를 원활하게 변환하고 변환된 데이터를 대상으로 전송할 수 있는 전송 스트림의 데이터 변환 기능을 설명합니다.

전체 게시물 읽기 »

이 게시물에서는 Amazon Kinesis Analytics에서 제공되는 RANDOM_CUT_FOREST 함수를 사용하여 웹 트래픽 스트림에서 실시간으로 이상 항목을 탐지하는 분석 파이프라인을 소개합니다.

전체 게시물 읽기 »

Amazon Kinesis와 실시간 스트리밍 분석에 관한 블로그 게시물의 전체 목록은 블로그 게시물 페이지 참조 »

쉽게 Amazon Kinesis를 시작할 수 있습니다. AWS 계정에 가입하거나, 이미 계정이 있다면 AWS Management Console에 로그인한 후 Amazon Kinesis를 시작하면 됩니다.

Amazon Kinesis 시작하기