AWS Streaming Data Solution for Amazon Kinesis는 스트리밍 데이터를 손쉽게 캡처, 저장, 처리 및 제공하는 데 필요한 AWS 서비스를 자동으로 구성합니다. 이 솔루션은 많은 양의 애플리케이션 로그 캡처, 클릭스트림 데이터 분석, 데이터 레이크로의 지속적 전송과 같은 실시간 스트리밍 사용 사례를 해결하는 데 도움이 됩니다. 다양한 사용 사례와 비즈니스 요구 사항에 따라 유연하게 조정할 수 있도록 이 솔루션은 두 가지 AWS CloudFormation 템플릿을 제공합니다. 개발자의 경우 이 솔루션을 사용하여 새로운 서비스 조합을 프로덕션 환경의 기준으로 테스트하거나 이미 구현한 기존 애플리케이션을 개선할 수 있습니다.
이 솔루션은 AWS CloudFormation을 사용한 리소스 모델링 및 프로비저닝, Amazon CloudWatch 경보, 대시보드 및 로깅 설정과 AWS에서 스트리밍 데이터 모범 사례를 수동으로 구현해야 하는 필요성을 없애거나 줄임으로써 개발 시간을 며칠까지 단축합니다. 이 솔루션은 데이터 및 논리와 무관하므로 상용구 코드를 사용하여 시작하고 빠르게 사용자 지정할 수 있습니다. 배포 후에는 솔루션의 모니터링 기능을 사용하여 프로덕션으로 손쉽게 전환할 수 있습니다.
AWS Streaming Data Solution for Amazon Kinesis는 생산자, 스트리밍 스토리지, 소비자 및 대상으로 데이터가 흐르는 템플릿을 사용합니다. 생산자는 지속적으로 데이터를 생성하여 스트리밍 스토리지로 전송합니다. 스트리밍 스토리지는 내구력 있는 방식으로 데이터를 캡처하고 데이터 소비자에게 제공하여 처리할 수 있도록 합니다. 데이터 소비자는 데이터를 처리한 후 대상으로 전송합니다.
현재, 이 솔루션은 두 가지 템플릿을 제공하지만 추가 템플릿이 개발 중에 있습니다. AWS CloudFormation 템플릿은 Amazon Kinesis Data Streams를 스트리밍 스토리지로 사용합니다. 한 템플릿은 Amazon API Gateway를 수집에 사용하고 AWS Lambda를 소비자로 사용합니다. 두 번째 템플릿은 Amazon Elastic Compute Cloud(Amazon EC2)에서 Kinesis Data Streams로의 직접 수집을 사용하고 Amazon Kinesis Data Analytics를 소비자로 사용하며 Amazon Simple Storage Service(Amazon S3)를 스토리지 대상으로 사용합니다. 각 템플릿을 사용하여 다양한 구성 요소를 조합하고 요구 사항에 맞게 확장할 수 있습니다.
AWS 솔루션 구현 개요
이 솔루션은 스트리밍 데이터를 손쉽게 캡처, 저장, 처리 및 제공하는 데 필요한 핵심 AWS 서비스를 자동으로 구성합니다. 사용자 지정 가능한 데모 코드가 포함되어 있는 두 가지 옵션을 사용할 수 있습니다. 사용 사례 및 비즈니스 요구 사항을 충족하는 템플릿을 선택한 다음 구현 안내서를 사용하여 배포하면 됩니다.
옵션 1
옵션 2
옵션 1
Amazon API Gateway 및 AWS Lambda를 사용하는 AWS CloudFormation 템플릿
Amazon API Gateway 및 AWS Lambda를 사용하는 AWS CloudFormation 템플릿
이 템플릿은 API Gateway를 수집에 사용하여 스트리밍 스토리지(Kinesis Data Streams)의 추상화 계층을 제공합니다. 이 추상화 계층을 사용하여 데이터 생산자에 대한 사용자 지정 인증 접근 방식을 구현하고 특정 생산자의 할당량을 제어하며 대상 Kinesis 스트림을 변경할 수 있습니다.
이 템플릿은 AWS Lambda를 데이터 소비자로 사용하므로 필터링, 비즈니스 이벤트 처리 및 데이터 정리와 같은 내부 상태가 필요하지 않은 사용 사례에 적합합니다. AWS Lambda는 오류 표면적이 작으며 확장과 운영이 단순합니다.
이 AWS CloudFormation 템플릿은 Amazon EC2에서 Kinesis Data Streams로의 직접 수집을 사용합니다. 이 템플릿은 Kinesis Data Streams에 기록되는 코드를 일정 수준 제어할 수 있는 경우 가장 적합합니다. 이 템플릿을 사용하면 데이터 생산자 측의 버퍼링을 통해 비용을 최적화할 수 있으며 관리할 리소스 수가 줄어듭니다.
Kinesis Data Analytics for Apache Flink는 내구력 있는 애플리케이션 및 1회 처리와 같은 기능이 필요한 사용 사례에 가장 적합합니다. Kinesis Data Analytics for Apache Flink는 많은 양의 데이터를 짧은 지연 시간과 고가용성으로 처리하기에도 효율적입니다. 이러한 기능이 유용할 수 있는 사용 사례로는 스트리밍 추출-변환-로드(ETL), 실시간 분석, 예측 분석 및 기계 학습 등이 있습니다.
스트리밍 데이터를 손쉽게 캡처, 저장, 처리 및 제공하는 데 필요한 AWS 서비스를 자동으로 구성합니다.
유연성
다양한 사용 사례와 비즈니스 요구 사항에 따라 유연하게 조정할 수 있도록 이 솔루션은 두 가지 AWS CloudFormation 템플릿을 제공합니다. 개발자의 경우 이 솔루션을 사용하여 새로운 서비스 조합을 프로덕션 환경의 기준으로 테스트하거나 이미 구현한 기존 애플리케이션을 개선할 수 있습니다.
실시간 스트리밍 사용 사례
많은 양의 애플리케이션 로그를 캡처하고 클릭스트림 데이터를 분석하며 데이터 레이크로 지속적으로 전송합니다.
데이터 및 논리와 무관
솔루션의 상용 코드를 빠르게 사용자 지정할 수 있습니다. 배포 후에는 Amazon CloudWatch를 사용한 솔루션의 모니터링 기능을 통해 프로덕션으로 손쉽게 전환할 수 있습니다.
솔루션 직접 배포
AWS 솔루션 구현 라이브러리에서 일반적인 아키텍처 문제에 대한 답을 검색해 보실 수 있습니다.
