개요

Streaming Data Solution for Amazon MSK는 생산자, 스트리밍 스토리지, 소비자 및 대상으로 데이터가 흐르는 AWS CloudFormation 템플릿을 사용합니다. 다양한 사용 사례와 비즈니스 요구 사항을 지원하기 위해 이 솔루션은 네 가지 AWS CloudFormation 템플릿을 제공합니다. Streaming Data Solution for Amazon Kinesis와 유사하게, 이러한 템플릿은 대시보드 및 경보를 사용하여 기능을 모니터링하고 데이터를 보호하는 모범 사례를 적용하도록 구성되어 있습니다.
스트리밍 데이터는 데이터 생산자가 생성하는 많은 양의 데이터를 처리할 수 있는 대량의 확장 가능한 스토리지를 통해 내구력 있는 방식으로 캡처되어야 합니다. 생산자는 스트리밍 데이터를 지속적으로 생성하여 일반적으로 작은 크기(킬로바이트)의 레코드를 동시에 제출하는 수천 개의 데이터 소스가 될 수 있습니다.
스트리밍 데이터에는 모바일이나 웹 애플리케이션을 사용하는 고객이 생성하는 로그 파일, 전자 상거래 구매, 게임 내 플레이어 활동, 소셜 네트워크의 정보, 주식 거래소, 지리공간 서비스, 연결된 디바이스의 텔레메트리, 데이터 센터의 계측 등 다양한 데이터가 포함됩니다.
이점

기술 세부 정보

-
옵션 1
-
옵션 2
-
옵션 3
-
옵션 4
-
옵션 1
-
옵션 1 – Amazon MSK를 사용하는 AWS CloudFormation 템플릿
1단계
이 AWS CloudFormation 템플릿은 Amazon MSK 클러스터를 배포합니다.
관련 콘텐츠
AWS 아키텍처 블로그Amazon MSK Backup for Archival, Replay, or Analytics이 게시물에서는 MSK 주제를 S3에 백업하여 MSK의 장기 데이터 보존 설정을 줄이는 데 사용할 수 있는 패턴 및 솔루션에 대해 다룹니다. 일부 고객은 데이터 분석 및 기계 학습 워크로드를 위한 장기 데이터를 MSK에 저장합니다. 이 게시물에서는 S3의 주제 데이터를 오프로드하여 이 아키텍처를 간소화하고 S3를 분석 및 기계 학습에 사용하는 패턴을 공유합니다.
교육Amazon MSK 실습이 사이트는 Amazon MSK와 관련된 정보와 실습을 제공합니다. 이 실습은 개인 또는 기업 AWS 계정이나 Event Engine을 사용하는 이벤트에 대해 AWS 계정 팀이 프로비저닝한 계정에서 실행할 수 있습니다.
이 배포에 대한 정보버전1.7.6릴리스 날짜2023년 5월저자AWS예상 배포 시간25~30분예상 비용 -
옵션 2
-
옵션 2 – Amazon MSK 및 AWS Lambda를 사용하는 AWS CloudFormation 템플릿
1단계
이 AWS CloudFormation 템플릿은 Apache Kafka 주제의 레코드를 처리하는 Lambda 함수를 배포합니다. 이 기본 함수는 수신된 메시지를 기록하는 Node.js 애플리케이션이지만 사용자의 비즈니스 요구 사항에 따라 사용자 지정할 수 있습니다.관련 콘텐츠
AWS 아키텍처 블로그Amazon MSK Backup for Archival, Replay, or Analytics이 게시물에서는 MSK 주제를 S3에 백업하여 MSK의 장기 데이터 보존 설정을 줄이는 데 사용할 수 있는 패턴 및 솔루션에 대해 다룹니다. 일부 고객은 데이터 분석 및 기계 학습 워크로드를 위한 장기 데이터를 MSK에 저장합니다. 이 게시물에서는 S3의 주제 데이터를 오프로드하여 이 아키텍처를 간소화하고 S3를 분석 및 기계 학습에 사용하는 패턴을 공유합니다.
교육Amazon MSK 실습이 사이트는 Amazon MSK와 관련된 정보와 실습을 제공합니다. 이 실습은 개인 또는 기업 AWS 계정이나 Event Engine을 사용하는 이벤트에 대해 AWS 계정 팀이 프로비저닝한 계정에서 실행할 수 있습니다.
이 배포에 대한 정보버전1.7.6릴리스 날짜2023년 5월저자AWS예상 배포 시간25~30분예상 비용 -
옵션 3
-
옵션 3 – Amazon MSK, AWS Lambda, Amazon Kinesis Data Firehose를 사용하는 AWS CloudFormation 템플릿
1단계
Apache Kafka 주제의 레코드를 처리하는 AWS Lambda 함수2단계
데이터가 대상에 전송되기 전에 데이터를 버퍼링하는 Amazon Kinesis Data Firehose 전송 스트림3단계
Amazon MSK 클러스터의 모든 원래 이벤트를 저장하는 Amazon Simple Storage Service(S3) 버킷관련 콘텐츠
AWS 아키텍처 블로그Amazon MSK Backup for Archival, Replay, or Analytics이 게시물에서는 MSK 주제를 S3에 백업하여 MSK의 장기 데이터 보존 설정을 줄이는 데 사용할 수 있는 패턴 및 솔루션에 대해 다룹니다. 일부 고객은 데이터 분석 및 기계 학습 워크로드를 위한 장기 데이터를 MSK에 저장합니다. 이 게시물에서는 S3의 주제 데이터를 오프로드하여 이 아키텍처를 간소화하고 S3를 분석 및 기계 학습에 사용하는 패턴을 공유합니다.
교육Amazon MSK 실습이 사이트는 Amazon MSK와 관련된 정보와 실습을 제공합니다. 이 실습은 개인 또는 기업 AWS 계정이나 Event Engine을 사용하는 이벤트에 대해 AWS 계정 팀이 프로비저닝한 계정에서 실행할 수 있습니다.
이 배포에 대한 정보버전1.7.6릴리스 날짜2023년 5월저자AWS예상 배포 시간25~30분예상 비용 -
옵션 4
-
옵션 4 - Amazon MSK, Amazon Kinesis Data Analytics, Amazon S3를 사용하는 AWS CloudFormation 템플릿
1단계
Amazon MSK 클러스터의 기존 주제에서 이벤트를 읽는 Kinesis Data Analytics Studio 노트북2단계
출력을 저장하는 Amazon Simple Storage Service(S3) 버킷관련 콘텐츠
AWS 아키텍처 블로그Amazon MSK Backup for Archival, Replay, or Analytics이 게시물에서는 MSK 주제를 S3에 백업하여 MSK의 장기 데이터 보존 설정을 줄이는 데 사용할 수 있는 패턴 및 솔루션에 대해 다룹니다. 일부 고객은 데이터 분석 및 기계 학습 워크로드를 위한 장기 데이터를 MSK에 저장합니다. 이 게시물에서는 S3의 주제 데이터를 오프로드하여 이 아키텍처를 간소화하고 S3를 분석 및 기계 학습에 사용하는 패턴을 공유합니다.
교육Amazon MSK 실습이 사이트는 Amazon MSK와 관련된 정보와 실습을 제공합니다. 이 실습은 개인 또는 기업 AWS 계정이나 Event Engine을 사용하는 이벤트에 대해 AWS 계정 팀이 프로비저닝한 계정에서 실행할 수 있습니다.
이 배포에 대한 정보버전1.7.6릴리스 날짜2023년 5월저자AWS예상 배포 시간25~30분예상 비용