개요

Streaming Data Solution for Amazon Kinesis는 생산자, 스트리밍 스토리지, 소비자 및 대상으로 데이터가 흐르는 AWS CloudFormation 템플릿을 제공합니다. 다양한 사용 사례와 비즈니스 요구 사항을 지원하기 위해 이 솔루션은 네 가지 CloudFormation 템플릿을 제공합니다. Streaming Data Solution for Amazon MSK와 유사하게, 이러한 템플릿은 대시보드 및 경보를 사용하여 기능을 모니터링하고 데이터를 보호하는 모범 사례를 적용하도록 구성되어 있습니다.
스트리밍 데이터는 데이터 생산자가 생성하는 많은 양의 데이터를 처리할 수 있는 대량의 확장 가능한 스토리지를 통해 내구력 있는 방식으로 캡처되어야 합니다. 생산자는 스트리밍 데이터를 지속적으로 생성하여 일반적으로 작은 크기(킬로바이트)의 레코드를 동시에 제출하는 수천 개의 데이터 소스가 될 수 있습니다.
스트리밍 데이터에는 모바일이나 웹 애플리케이션을 사용하는 고객이 생성하는 로그 파일, 전자 상거래 구매, 게임 내 플레이어 활동, 소셜 네트워크의 정보, 주식 거래소, 지리공간 서비스, 연결된 디바이스의 텔레메트리, 데이터 센터의 계측 등 다양한 데이터가 포함됩니다.
이점

기술 세부 정보

-
옵션 1
-
옵션 2
-
옵션 3
-
옵션 4
-
옵션 1
-
옵션 1 – Amazon API Gateway, Kinesis Data Streams, AWS Lambda를 사용하는 AWS CloudFormation 템플릿
1단계
Amazon API Gateway REST API는 Amazon Kinesis Data Streams에 대한 프록시 역할을 수행하여 개별 데이터 레코드 또는 데이터 레코드 목록을 추가합니다.3단계
수신 스트리밍 데이터를 저장할 Kinesis Data Streams4단계
AWS Lambda 함수는 데이터 스트림의 레코드를 처리합니다.5단계
AWS Lambda 처리 도중 발생한 오류 및 실패한 레코드는 주석이 달리며, 해당 이벤트는 Amazon Simple Queue Service(Amazon SQS)에 저장됩니다. 대기열은 실패한 배치 레코드 및 Lambda 오류에 대한 메타데이터를 저장하여 고객이 이러한 레코드를 검색하고 이를 해결하기 위한 다음 단계를 결정할 수 있도록 합니다.관련 콘텐츠
AWS 아키텍처 블로그Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Kinesis Data Analytics(KDA)와 Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 호출하는 방법도 다룹니다.
교육Amazon Kinesis Analytics 소개Amazon Kinesis Analytics 입문 과정으로 스트리밍 데이터를 쿼리하거나 SQL을 사용하여 전체 스트리밍 애플리케이션을 구축하는 데 도움이 됩니다.
이 배포에 대한 정보버전1.7.2릴리스 날짜2023년 1월저자AWS예상 배포 시간5~10분예상 비용 -
옵션 2
-
Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon CloudWatch를 사용하는 AWS CloudFormation 템플릿
옵션 2 – Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon CloudWatch를 사용하는 AWS CloudFormation 템플릿
1단계
Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스는 Amazon Kinesis Producer Library(KPL)를 사용하여 데이터를 생성합니다.3단계
Kinesis Data Analytics Studio는 수신 레코드를 처리하고 Amazon Simple Storage Service(S3) 버킷에 처리한 데이터를 저장합니다.4단계
Amazon CloudWatch 대시보드는 애플리케이션 상태, 진행률, 리소스 사용률, 이벤트, 오류를 모니터링합니다.
관련 콘텐츠
AWS 아키텍처 블로그Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Kinesis Data Analytics(KDA)와 Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 호출하는 방법도 다룹니다.
교육Amazon Kinesis Analytics 소개Amazon Kinesis Analytics 입문 과정으로 스트리밍 데이터를 쿼리하거나 SQL을 사용하여 전체 스트리밍 애플리케이션을 구축하는 데 도움이 됩니다.
이 배포에 대한 정보버전1.7.2릴리스 날짜2023년 1월저자AWS예상 배포 시간5~10분예상 비용 -
옵션 3
-
옵션 3 – Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon S3를 사용하는 AWS CloudFormation 템플릿
1단계
Amazon Kinesis Data Streams는 수신 스트리밍 데이터를 저장합니다.2단계
Amazon Kinesis Data Firehose는 출력을 Amazon S3 버킷으로 전송하기 전에 데이터를 버퍼링합니다. Amazon Kinesis Data Firehose는 데이터 처리량에 맞춰 자동으로 크기가 조정되며 지속적인 관리가 필요 없는 완전관리형 서비스입니다.3단계
Amazon CloudWatch 대시보드는 데이터 수집 및 버퍼링을 모니터링합니다. CloudWatch 경보는 Kinesis Data Firehose의 중요한 지표에 대해 설정됩니다.관련 콘텐츠
AWS 아키텍처 블로그Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Kinesis Data Analytics(KDA)와 Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 호출하는 방법도 다룹니다.
교육Amazon Kinesis Analytics 소개Amazon Kinesis Analytics 입문 과정으로 스트리밍 데이터를 쿼리하거나 SQL을 사용하여 전체 스트리밍 애플리케이션을 구축하는 데 도움이 됩니다.
이 배포에 대한 정보버전1.7.2릴리스 날짜2023년 1월저자AWS예상 배포 시간5~10분예상 비용 -
옵션 4
-
Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon API Gateway를 사용하는 AWS CloudFormation 템플릿
옵션 4 – Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon API Gateway를 사용하는 AWS CloudFormation 템플릿
1단계
Amazon Kinesis Producer Library(KPL)를 사용하여 데이터를 생성하는 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스3단계
Kinesis Data Analytics는 수신 레코드를 처리하고 외부 엔드포인트를 비동기적으로 호출합니다.4단계
데모 애플리케이션은 AWS Lambda 함수를 호출합니다.5단계
외부 API는 Amazon API Gateway가 지원하는 어떤 통합이라도 가능합니다(예: Amazon SageMaker 엔드포인트).6단계
Amazon CloudWatch 대시보드는 애플리케이션 상태, 진행률, 리소스 사용률, 이벤트, 오류를 모니터링합니다.AWS 아키텍처 블로그Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Kinesis Data Analytics(KDA)와 Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 호출하는 방법도 다룹니다.
교육Amazon Kinesis Analytics 소개Amazon Kinesis Analytics 입문 과정으로 스트리밍 데이터를 쿼리하거나 SQL을 사용하여 전체 스트리밍 애플리케이션을 구축하는 데 도움이 됩니다.
이 배포에 대한 정보버전1.7.2릴리스 날짜2023년 1월저자AWS예상 배포 시간5~10분예상 비용