이 AWS 솔루션 구현은 어떤 기능을 제공합니까?
AWS Streaming Data Solution for Amazon Kinesis는 스트리밍 데이터를 손쉽게 캡처, 저장, 처리 및 제공하는 데 필요한 AWS 서비스를 자동으로 구성합니다. 이 솔루션은 많은 양의 애플리케이션 로그 캡처, 클릭스트림 데이터 분석, 데이터 레이크로의 지속적 전송과 같은 실시간 스트리밍 사용 사례를 해결하는 데 도움이 됩니다. 다양한 사용 사례와 비즈니스 요구 사항에 따라 유연하게 조정할 수 있도록 이 솔루션은 네 가지 AWS CloudFormation 템플릿을 제공합니다. 각 템플릿을 사용하여 다양한 구성 요소를 조합하고 요구 사항에 맞게 확장할 수 있습니다. 이 솔루션을 사용하여 새로운 서비스 조합을 프로덕션 환경의 기준으로 테스트하거나, 기존 애플리케이션을 개선할 수 있습니다.
이 솔루션은 AWS CloudFormation을 사용한 리소스 모델링 및 프로비저닝, Amazon CloudWatch 경보, 대시보드 및 로깅 설정과 AWS에서 스트리밍 데이터 모범 사례를 수동으로 구현해야 하는 필요성을 없애거나 줄임으로써 개발 시간을 단축합니다. 이 솔루션은 데이터 및 논리와 무관하므로 상용구 코드를 사용하여 시작하고 빠르게 사용자 지정할 수 있습니다. 배포 후에는 솔루션의 모니터링 기능을 사용하여 프로덕션으로 손쉽게 전환할 수 있습니다.
AWS Streaming Data Solution for Amazon Kinesis는 생산자, 스트리밍 스토리지, 소비자 및 대상으로 데이터가 흐르는 템플릿을 사용합니다. 생산자는 지속적으로 데이터를 생성하여 스트리밍 스토리지로 전송합니다. 스트리밍 스토리지는 내구력 있는 방식으로 데이터를 캡처하고 데이터 소비자에게 제공하여 처리할 수 있도록 합니다. 데이터 소비자는 데이터를 처리한 후 대상으로 전송합니다.
AWS 솔루션 구현 개요
아래 다이어그램은 솔루션의 구현 안내서를 사용하여 자동으로 배포할 수 있는 AWS CloudFormation 템플릿을 보여줍니다.
-
옵션 1
-
옵션 2
-
옵션 3
-
옵션 4
-
옵션 1
-
Amazon API Gateway 및 AWS Lambda를 사용하는 AWS CloudFormation 템플릿
AWS Streaming Data Solution for Amazon Kinesis 솔루션 아키텍처
옵션 1 – Amazon API Gateway, Kinesis Data Streams, AWS Lambda를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 다음을 포함한 참조 아키텍처를 배포합니다.
- Amazon API Gateway는 스트리밍 데이터를 수집하고 AWS Lambda 함수로 이러한 데이터를 처리합니다.
- Amazon API Gateway REST API는 Amazon Kinesis Data Streams에 대한 프록시 역할을 수행하여 개별 데이터 레코드 또는 데이터 레코드 목록을 추가합니다.
- Kinesis Data Streams에 레코드를 저장합니다. AWS Lambda 함수는 데이터 스트림의 레코드를 처리합니다.
- AWS Lambda 처리 도중 발생한 오류 및 실패한 레코드는 주석이 달리며, 해당 이벤트는 Amazon Simple Queue Service(Amazon SQS)에 저장됩니다.
- Amazon Simple Queue Service 대기열은 실패한 배치 레코드 및 Lambda 오류에 대한 메타데이터를 저장하여 고객이 이러한 레코드를 검색하고 이를 해결하기 위한 다음 단계를 결정할 수 있도록 합니다.
AWS Streaming Data Solution for Amazon Kinesis
버전 1.2.0
최종 업데이트 날짜: 2020년 10월
작성: AWS
예상 배포 시간: 5~10분
아래 버튼을 사용하여 솔루션 업데이트에 가입하십시오.참고: RSS 업데이트에 가입하려면 사용 중인 브라우저에 대해 RSS 플러그인이 활성화되어 있어야 합니다.
-
옵션 2
-
Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon CloudWatch를 사용하는 AWS CloudFormation 템플릿
AWS Streaming Data Solution for Amazon Kinesis 솔루션 아키텍처
옵션 2 – Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon CloudWatch를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 다음을 포함한 참조 아키텍처를 배포합니다.
- Amazon Kinesis Producer Library(KPL)는 Amazon Kinesis Data Analytics를 사용하여 스트리밍 데이터를 수집하고 수신 데이터를 처리합니다. 이 템플릿은 데이터를 데이터 스트림에 게시하는 샘플 애플리케이션을 제공합니다.
- Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스는 KPL을 사용하여 데이터를 생성합니다.
- Amazon Kinesis Data Streams는 수신 스트리밍 데이터를 저장하며, Kinesis Data Analytics는 수신 레코드를 처리한 후 처리된 데이터를 Amazon Simple Storage Service(Amazon S3) 버킷에 저장합니다.
- Amazon CloudWatch 대시보드는 애플리케이션 상태, 진행률, 리소스 사용률, 이벤트, 오류를 모니터링합니다.
AWS Streaming Data Solution for Amazon Kinesis
버전 1.2.0
최종 업데이트 날짜: 2020년 10월
작성: AWS
예상 배포 시간: 5~10분
아래 버튼을 사용하여 솔루션 업데이트에 가입하십시오.참고: RSS 업데이트에 가입하려면 사용 중인 브라우저에 대해 RSS 플러그인이 활성화되어 있어야 합니다.
-
옵션 3
-
Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon S3를 사용하는 AWS CloudFormation 템플릿
AWS Streaming Data Solution for Amazon Kinesis 솔루션 아키텍처
옵션 3 – Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon S3를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 다음을 포함한 참조 아키텍처를 배포합니다.
- Amazon Kinesis Data Streams를 사용하여 스트리밍 데이터를 수집하고 Amazon Kinesis Data Firehose를 사용하여 데이터를 처리합니다. Kinesis Data Firehose는 데이터 처리량에 대응하여 자동으로 확장되며 지속적인 관리가 필요 없는 완전관리형 서비스입니다.
- Amazon CloudWatch 대시보드는 데이터 수집 및 버퍼링을 모니터링합니다. CloudWatch 경보는 Kinesis Data Firehose의 중요한 지표에 대해 설정됩니다.
AWS Streaming Data Solution for Amazon Kinesis
버전 1.2.0
최종 업데이트 날짜: 2020년 10월
작성: AWS
예상 배포 시간: 5~10분
아래 버튼을 사용하여 솔루션 업데이트에 가입하십시오.참고: RSS 업데이트에 가입하려면 사용 중인 브라우저에 대해 RSS 플러그인이 활성화되어 있어야 합니다.
-
옵션 4
-
Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon API Gateway를 사용하는 AWS CloudFormation 템플릿
AWS Streaming Data Solution for Amazon Kinesis 솔루션 아키텍처
옵션 4 – Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, Amazon API Gateway를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 옵션 2와 유사한 참조 아키텍처를 배포합니다. 그러나 이 템플릿은 스트리밍 애플리케이션의 외부 엔드포인트를 비동기식으로 호출합니다.
이 템플릿에 포함된 데모 애플리케이션은 AWS Lambda 함수를 호출하며, 외부 API는 Amazon API Gateway(예: Amazon SageMaker 엔드포인트)에서 지원되는 어떤 통합이든 가능합니다.
AWS Streaming Data Solution for Amazon Kinesis
버전 1.2.0
최종 업데이트 날짜: 2020년 10월
작성: AWS
예상 배포 시간: 5~10분
아래 버튼을 사용하여 솔루션 업데이트에 가입하십시오.참고: RSS 업데이트에 가입하려면 사용 중인 브라우저에 대해 RSS 플러그인이 활성화되어 있어야 합니다.