Streaming Data Solution for Amazon Kinesis

처리할 데이터를 지속적으로 캡처할 수 있는 실시간 데이터 스트리밍 서비스로, 대량으로 확장이 가능하고 내구력이 뛰어남

개요

Streaming Data Solution for Amazon Kinesis는 생산자, 스트리밍 스토리지, 소비자 및 대상으로 데이터가 흐르는 AWS CloudFormation 템플릿을 제공합니다. 다양한 사용 사례와 비즈니스 요구 사항을 지원하기 위해 이 솔루션은 네 가지 CloudFormation 템플릿을 제공합니다. Streaming Data Solution for Amazon MSK와 유사하게, 이러한 템플릿은 대시보드 및 경보를 사용하여 기능을 모니터링하고 데이터를 보호하는 모범 사례를 적용하도록 구성되어 있습니다.

스트리밍 데이터는 데이터 생산자가 생성하는 많은 양의 데이터를 처리할 수 있는 대량의 확장 가능한 스토리지를 통해 내구력 있는 방식으로 캡처되어야 합니다. 생산자는 스트리밍 데이터를 지속적으로 생성하여 일반적으로 작은 크기(킬로바이트)의 레코드를 동시에 제출하는 수천 개의 데이터 소스가 될 수 있습니다.

스트리밍 데이터에는 모바일이나 웹 애플리케이션을 사용하는 고객이 생성하는 로그 파일, 전자 상거래 구매, 게임 내 플레이어 활동, 소셜 네트워크의 정보, 주식 거래소, 지리공간 서비스, 연결된 디바이스의 텔레메트리, 데이터 센터의 계측 등 다양한 데이터가 포함됩니다.

이점

자동화된 구성
스트리밍 데이터를 손쉽게 캡처, 저장, 처리 및 제공하는 데 필요한 AWS 서비스를 자동으로 구성합니다.
네 가지 템플릿 옵션
서로 다른 네 가지의 AWS CloudFormation 템플릿 옵션 중에서 선택합니다. 프로덕션 환경을 위한 새 서비스 조합을 테스트하고 기존 애플리케이션을 개선할 수 있습니다.
실시간 사용 사례
많은 양의 애플리케이션 로그를 캡처하고 클릭스트림 데이터를 분석하며 데이터 레이크로 지속적으로 전송합니다.
사용자 지정 가능한 소스 코드
솔루션의 기본 코드를 사용자 지정한 다음 모니터링 기능을 사용하여 테스트에서 프로덕션으로 빠르게 전환합니다.

기술 세부 정보

아래 다이어그램은 솔루션의 구현 가이드를 사용하여 자동으로 배포할 수 있는 AWS CloudFormation 템플릿을 보여줍니다.
  • 옵션 1
  • Amazon API Gateway 및 AWS Lambda를 사용하는 AWS CloudFormation 템플릿
    옵션 1 – Amazon API Gateway, Kinesis Data Streams, AWS Lambda를 사용하는 AWS CloudFormation 템플릿
    AWS 아키텍처 블로그
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink

    이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Managed Service for Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 간접적으로 호출하는 방법도 다룹니다.

    전체 블로그 게시물 읽기 
    교육
    Amazon Kinesis Analytics 소개

    Amazon Kinesis Analytics 입문 과정으로 스트리밍 데이터를 쿼리하거나 SQL을 사용하여 전체 스트리밍 애플리케이션을 구축하는 데 도움이 됩니다.

    지금 등록하기 
    교육
    데이터 분석 기초

    이 자습형 과정에서는 데이터 분석 솔루션을 계획하는 프로세스와 관련된 다양한 데이터 분석 프로세스에 대해 학습합니다.

    지금 등록하기 
    이 배포에 대한 정보
    버전
    1.8.1
    릴리스 날짜
    2023년 10월
    작성자
    AWS
    예상 배포 시간
    5~10분
    예상 비용
    구현 가이드 다운로드  소스 코드  CloudFormation 템플릿  RSS 피드 구독 
    배포 옵션
    시작할 준비가 되셨나요?
    AWS Console에서 이 솔루션을 시작하여 배포
    이 AWS 솔루션이 도움이 되었나요?
    피드백 제공
  • 옵션 2
  • Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink, Amazon CloudWatch를 사용하는 AWS CloudFormation 템플릿 

    옵션 2 – Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink, Amazon CloudWatch를 사용하는 AWS CloudFormation 템플릿
    AWS 아키텍처 블로그
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink

    이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Managed Service for Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 간접적으로 호출하는 방법도 다룹니다.

    전체 블로그 게시물 읽기 
    교육
    Amazon Kinesis Analytics 소개

    Amazon Kinesis Analytics 입문 과정으로 스트리밍 데이터를 쿼리하거나 SQL을 사용하여 전체 스트리밍 애플리케이션을 구축하는 데 도움이 됩니다.

    지금 등록하기 
    교육
    데이터 분석 기초

    이 자습형 과정에서는 데이터 분석 솔루션을 계획하는 프로세스와 관련된 다양한 데이터 분석 프로세스에 대해 학습합니다.

    지금 등록하기 
    이 배포에 대한 정보
    버전
    1.8.1
    릴리스 날짜
    2023년 10월
    작성자
    AWS
    예상 배포 시간
    5~10분
    예상 비용
    구현 가이드 다운로드  소스 코드  CloudFormation 템플릿  RSS 피드 구독 
    배포 옵션
    시작할 준비가 되셨나요?
    AWS Console에서 이 솔루션을 시작하여 배포
    이 AWS 솔루션이 도움이 되었나요?
    피드백 제공
  • 옵션 3
  • Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon S3를 사용하는 AWS CloudFormation 템플릿
    옵션 3 – Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon S3를 사용하는 AWS CloudFormation 템플릿
    AWS 아키텍처 블로그
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink

    이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Managed Service for Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 간접적으로 호출하는 방법도 다룹니다.

    전체 블로그 게시물 읽기 
    교육
    Amazon Kinesis Analytics 소개

    Amazon Kinesis Analytics 입문 과정으로 스트리밍 데이터를 쿼리하거나 SQL을 사용하여 전체 스트리밍 애플리케이션을 구축하는 데 도움이 됩니다.

    지금 등록하기 
    교육
    데이터 분석 기초

    이 자습형 과정에서는 데이터 분석 솔루션을 계획하는 프로세스와 관련된 다양한 데이터 분석 프로세스에 대해 학습합니다.

    지금 등록하기 
    이 배포에 대한 정보
    버전
    1.8.1
    릴리스 날짜
    2023년 10월
    작성자
    AWS
    예상 배포 시간
    5~10분
    예상 비용
    구현 가이드 다운로드  소스 코드  CloudFormation 템플릿  RSS 피드 구독 
    배포 옵션
    시작할 준비가 되셨나요?
    AWS Console에서 이 솔루션을 시작하여 배포
    이 AWS 솔루션이 도움이 되었나요?
    피드백 제공
  • 옵션 4
  • Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink, Amazon API Gateway를 사용하는 AWS CloudFormation 템플릿
    옵션 4 - Amazon Kinesis Data Streams, Amazon Managed Service for Apache Flink, Amazon API Gateway를 사용하는 AWS CloudFormation 템플릿
    AWS 아키텍처 블로그
    Real-Time In-Stream Inference with AWS Kinesis, SageMaker, & Apache Flink

    이 게시물은 다양한 AWS 서비스를 사용하여 스트리밍 데이터에서 실시간 추론을 달성하기 위한 아키텍처의 개요를 제공합니다. Amazon Managed Service for Apache Flink를 통합하여 비동기식으로 기본 서비스 또는 데이터베이스를 간접적으로 호출하는 방법도 다룹니다.

    전체 블로그 게시물 읽기 
    교육
    Amazon Kinesis Analytics 소개

    Amazon Kinesis Analytics 입문 과정으로 스트리밍 데이터를 쿼리하거나 SQL을 사용하여 전체 스트리밍 애플리케이션을 구축하는 데 도움이 됩니다.

    지금 등록하기 
    교육
    데이터 분석 기초

    이 자습형 과정에서는 데이터 분석 솔루션을 계획하는 프로세스와 관련된 다양한 데이터 분석 프로세스에 대해 학습합니다.

    지금 등록하기 
    이 배포에 대한 정보
    버전
    1.8.1
    릴리스 날짜
    2023년 10월
    작성자
    AWS
    예상 배포 시간
    5~10분
    예상 비용
    구현 가이드 다운로드  소스 코드  CloudFormation 템플릿  RSS 피드 구독 
    배포 옵션
    시작할 준비가 되셨나요?
    AWS Console에서 이 솔루션을 시작하여 배포
    이 AWS 솔루션이 도움이 되었나요?
    피드백 제공