Streaming Data Solution for Amazon Kinesis는 생산자, 스트리밍 스토리지, 소비자 및 대상으로 데이터가 흐르는 AWS CloudFormation 템플릿을 제공합니다. 다양한 사용 사례와 비즈니스 요구 사항을 지원하기 위해 이 솔루션은 네 가지 CloudFormation 템플릿을 제공합니다. Streaming Data Solution for Amazon MSK와 유사하게, 이러한 템플릿은 대시보드 및 경보를 사용하여 기능을 모니터링하고 데이터를 보호하는 모범 사례를 적용하도록 구성되어 있습니다.
이점
AWS 솔루션 개요
-
옵션 1
-
옵션 2
-
옵션 3
-
옵션 4
-
옵션 1
-
Amazon API Gateway 및 AWS Lambda를 사용하는 AWS CloudFormation 템플릿
Streaming Data Solution for Amazon Kinesis 아키텍처
옵션 1 – Amazon API Gateway, Kinesis Data Streams, AWS Lambda를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 다음을 포함한 참조 아키텍처를 배포합니다.
- Amazon API Gateway REST API는 Amazon Kinesis Data Streams에 대한 프록시 역할을 수행하여 개별 데이터 레코드 또는 데이터 레코드 목록을 추가합니다.
- Amazon Cognito 사용자 풀은 REST API 메서드를 호출할 수 있는 사용자를 제어하는 데 사용됩니다.
- 수신 스트리밍 데이터를 저장할 Kinesis Data Streams.
- AWS Lambda 함수는 데이터 스트림의 레코드를 처리합니다.
- AWS Lambda 처리 도중 발생한 오류 및 실패한 레코드는 주석이 달리며, 해당 이벤트는 Amazon Simple Queue Service(Amazon SQS)에 저장됩니다. 대기열은 실패한 배치 레코드 및 Lambda 오류에 대한 메타데이터를 저장하여 고객이 이러한 레코드를 검색하고 이를 해결하기 위한 다음 단계를 결정할 수 있도록 합니다.
Streaming Data Solution for Amazon Kinesis
버전 1.7.0
릴리스 날짜: 2022년 11월
작성자: AWS예상 배포 시간: 5~10분
-
옵션 2
-
Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon CloudWatch를 사용하는 AWS CloudFormation 템플릿
Streaming Data Solution for Amazon Kinesis 아키텍처
옵션 2 – Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon CloudWatch를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 다음을 포함한 참조 아키텍처를 배포합니다.
- Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스는 Amazon Kinesis Producer Library(KPL)를 사용하여 데이터를 생성합니다.
- Amazon Kinesis Data Streams는 수신 데이터 스트림을 저장합니다.
- Kinesis Data Analytics Studio는 수신 레코드를 처리하고 Amazon Simple Storage Service(Amazon S3) 버킷에 처리한 데이터를 저장합니다.
- Amazon CloudWatch 대시보드는 애플리케이션 상태, 진행률, 리소스 사용률, 이벤트, 오류를 모니터링합니다.
Streaming Data Solution for Amazon Kinesis
버전 1.7.0
릴리스 날짜: 2022년 11월
작성자: AWS예상 배포 시간: 5~10분
-
옵션 3
-
Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon S3를 사용하는 AWS CloudFormation 템플릿
Streaming Data Solution for Amazon Kinesis 아키텍처
옵션 3 – Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon S3를 사용하는 AWS CloudFormation 템플릿
이 옵션은 다음을 포함한 참조 아키텍처를 배포합니다.
- Amazon Kinesis Data Streams는 수신 스트리밍 데이터를 저장합니다.
- Amazon Kinesis Data Firehose는 출력을 Amazon S3 버킷으로 전송하기 전에 데이터를 버퍼링합니다. Amazon Kinesis Data Firehose는 데이터 처리량에 맞춰 자동으로 크기가 조정되며 지속적인 관리가 필요 없는 완전관리형 서비스입니다.
- Amazon CloudWatch 대시보드는 데이터 수집 및 버퍼링을 모니터링합니다. CloudWatch 경보는 Kinesis Data Firehose의 중요한 지표에 대해 설정됩니다.
Streaming Data Solution for Amazon Kinesis
버전 1.7.0
릴리스 날짜: 2022년 11월
작성자: AWS
예상 배포 시간: 5~10분
- Amazon Kinesis Data Streams는 수신 스트리밍 데이터를 저장합니다.
-
옵션 4
-
Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon API Gateway를 사용하는 AWS CloudFormation 템플릿
Streaming Data Solution for Amazon Kinesis 아키텍처
옵션 4 – Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon API Gateway를 사용하는 AWS CloudFormation 템플릿
이 옵션은 옵션 2와 유사하고 다음을 포함하는 참조 아키텍처를 배포합니다.
- Amazon Kinesis Producer Library(KPL)를 사용하여 데이터를 생성하는 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스.
- Amazon Kinesis Data Streams는 수신 스트리밍 데이터를 저장합니다.
- Kinesis Data Analytics는 수신 레코드를 처리하고 외부 엔드포인트를 비동기적으로 호출합니다.
- 데모 애플리케이션은 AWS Lambda 함수를 호출합니다.
- 외부 API는 Amazon API Gateway가 지원하는 어떤 통합이라도 가능합니다(예: Amazon SageMaker 엔드포인트).
- Amazon CloudWatch 대시보드는 애플리케이션 상태, 진행률, 리소스 사용률, 이벤트, 오류를 모니터링합니다.
Streaming Data Solution for Amazon Kinesis
버전 1.7.0
릴리스 날짜: 2022년 11월
작성자: AWS
예상 배포 시간: 5~10분
- Amazon Kinesis Producer Library(KPL)를 사용하여 데이터를 생성하는 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스.
관련 콘텐츠
이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Kinesis Data Analytics(KDA)와 Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 호출하는 방법도 다룹니다.