Amazon Kinesis Data Streams(KDS)는 고도로 확장 가능하고 내구력 있는 실시간 데이터 스트리밍 서비스입니다. KDS는 웹 사이트 클릭스트림, 데이터베이스 이벤트 스트림, 금융 트랜잭션, 소셜 미디어 피드, IT 로그 및 위치 추적 이벤트와 같은 수십만 개의 소스에서 초당 기가바이트 규모의 데이터를 지속적으로 캡처할 수 있습니다. 수집된 데이터는 실시간 대시보드, 실시간 이상 항목 탐지, 동적 요금 등과 같은 실시간 분석 사용 사례를 지원할 수 있도록 수 밀리초 만에 제공됩니다.
이점
실시간 성능
데이터가 수집된 지 70밀리초 이내에 스트리밍 데이터를 여러 실시간 분석 애플리케이션, Amazon S3 또는 AWS Lambda에 제공할 수 있습니다.
내구성
데이터 손실 가능성을 줄입니다. AWS 리전의 가용 영역 3개에 걸쳐 스트리밍 데이터를 동기식으로 복제하고 최대 365일간 해당 데이터를 저장함으로써 데이터 손실을 방지하는 여러 보호 계층을 제공할 수 있습니다.
사용 편의성
AWS SDK, Kinesis Client Library(KCL), 커넥터 및 에이전트를 사용하여 스트리밍 애플리케이션을 신속하게 구축할 수 있습니다. AWS Lambda, Amazon Kinesis Data Analytics, Amazon Kinesis Data Firehose 및 AWS Glue Schema Registry와 기본적으로 통합되므로 데이터를 손쉽게 처리할 수 있습니다.
탄력성
애플리케이션을 동적으로 확장할 수 있습니다. Kinesis Data Streams는 시간당 메가바이트에서 테라바이트 규모로 확장하며 초당 수천 개의 PUT 레코드에서 수백만 개로 확장합니다. 언제든지 입력 데이터의 볼륨에 따라 스트림의 처리량을 동적으로 조정할 수 있습니다.
저렴한 비용
Kinesis Data Streams에는 선결제 금액이 없으며 사용한 리소스에 대해서만 비용을 지불하면 됩니다. 시간당 0.015 USD라는 저렴한 비용으로 1MB/초의 수집 용량과 2MB/초의 송신 용량을 갖춘 Kinesis Data Streams를 확보할 수 있습니다.
작동 방식
사용 사례
로그 및 이벤트 데이터 수집
Kinesis Data Streams를 사용하면 서버, 데스크톱 및 모바일 디바이스와 같은 소스에서 로그와 이벤트 데이터를 수집할 수 있습니다. 그런 다음, 지속적으로 데이터를 처리하고, 지표를 생성하고, 실시간 대시보드를 구동하고, Amazon S3와 같은 스토어로 집계 데이터를 내보내도록 Kinesis 애플리케이션을 구축할 수 있습니다.
실시간 분석
Kinesis 애플리케이션을 사용해 Kinesis Data Streams에서 수집한 센서 데이터 등 발생 빈도가 높은 이벤트 데이터에 대한 실시간 분석을 실행함으로써, 몇 시간 또는 며칠이 아닌 몇 분 단위로 데이터에서 통찰력을 얻을 수 있습니다.
모바일 데이터 캡처
게임 데이터 피드
Kinesis Data Streams를 사용하여 지속적으로 플레이어와 게임 간 상호 작용에 대한 데이터를 수집하고 게임 플랫폼으로 데이터를 피드할 수 있습니다. Kinesis Data Streams를 사용하면 플레이어의 동작 및 행동에 따라 흥미롭고 역동적인 경험을 제공하는 게임을 설계할 수 있습니다.
사례 연구
주요 블로그 게시물
Scale Amazon Kinesis Data Streams with AWS Application Auto Scaling
Giorgio Nobile과 Diego Natali
Retaining data streams up to one year with Amazon Kinesis Data Streams
Nihar Sheth, Karthi Thyagarajan, Larry Heathcote와 Sai Maddali
Amazon Kinesis Data Streams 기능에 대해 자세히 알아보기