Amazon Kinesis Data Streams(KDS)는 고도로 확장 가능하고 내구력 있는 실시간 데이터 스트리밍 서비스입니다. KDS는 웹 사이트 클릭스트림, 데이터베이스 이벤트 스트림, 금융 트랜잭션, 소셜 미디어 피드, IT 로그 및 위치 추적 이벤트와 같은 수십만 개의 소스에서 초당 기가바이트 규모의 데이터를 지속적으로 캡처할 수 있습니다. 수집된 데이터는 실시간 대시보드, 실시간 이상 항목 탐지, 동적 요금 등과 같은 실시간 분석 사용 사례를 지원할 수 있도록 수 밀리초 만에 제공됩니다.
이점
실시간 성능
데이터가 수집된 지 70밀리초 이내에 스트리밍 데이터를 여러 실시간 분석 애플리케이션, Amazon S3 또는 AWS Lambda에 제공할 수 있습니다.
내구성
데이터 손실 가능성을 줄입니다. AWS 리전의 가용 영역 3개에 걸쳐 스트리밍 데이터를 동기식으로 복제하고 최대 365일간 해당 데이터를 저장함으로써 데이터 손실을 방지하는 여러 보호 계층을 제공할 수 있습니다.
사용 편의성
AWS SDK, Kinesis Client Library(KCL), 커넥터 및 에이전트를 사용하여 스트리밍 애플리케이션을 신속하게 구축할 수 있습니다. AWS Lambda, Amazon Kinesis Data Analytics, Amazon Kinesis Data Firehose 및 AWS Glue Schema Registry와 기본적으로 통합되므로 데이터를 손쉽게 처리할 수 있습니다.
탄력성
애플리케이션을 동적으로 확장할 수 있습니다. Kinesis Data Streams는 시간당 메가바이트에서 테라바이트 규모로 확장하며 초당 수천 개의 PUT 레코드에서 수백만 개로 확장합니다. 언제든지 입력 데이터의 볼륨에 따라 스트림의 처리량을 동적으로 조정할 수 있습니다.
저렴한 비용
Kinesis Data Streams에는 선결제 금액이 없으며 사용한 리소스에 대해서만 비용을 지불하면 됩니다. 시간당 0.015 USD라는 저렴한 비용으로 1MB/초의 수집 용량과 2MB/초의 송신 용량을 갖춘 Kinesis Data Streams를 확보할 수 있습니다.
작동 방식
사용 사례
로그 및 이벤트 데이터 수집
Kinesis Data Streams를 사용하면 서버, 데스크톱 및 모바일 디바이스와 같은 소스에서 로그와 이벤트 데이터를 수집할 수 있습니다. 그런 다음, 지속적으로 데이터를 처리하고, 지표를 생성하고, 실시간 대시보드를 구동하고, Amazon S3와 같은 스토어로 집계 데이터를 내보내도록 Kinesis 애플리케이션을 구축할 수 있습니다.
실시간 분석
Kinesis 애플리케이션을 사용해 Kinesis Data Streams에서 수집한 센서 데이터 등 발생 빈도가 높은 이벤트 데이터에 대한 실시간 분석을 실행함으로써, 몇 시간 또는 며칠이 아닌 몇 분 단위로 데이터에서 통찰력을 얻을 수 있습니다.
모바일 데이터 캡처
게임 데이터 피드
Kinesis Data Streams를 사용하여 지속적으로 플레이어와 게임 간 상호 작용에 대한 데이터를 수집하고 게임 플랫폼으로 데이터를 피드할 수 있습니다. Kinesis Data Streams를 사용하면 플레이어의 동작 및 행동에 따라 흥미롭고 역동적인 경험을 제공하는 게임을 설계할 수 있습니다.
사례 연구
블로그 게시물
Scale Amazon Kinesis Data Streams with AWS Application Auto Scaling
Giorgio Nobile과 Diego Natali, 2018년 11월 20일
Amazon Kinesis Data Streams 기능에 대해 자세히 알아보기