이 AWS 솔루션은 어떤 작업을 수행합니까?
Streaming Data Solution for Amazon MSK는 생산자, 스트리밍 스토리지, 소비자 및 대상으로 데이터가 흐르는 AWS CloudFormation 템플릿을 사용합니다. 다양한 사용 사례와 비즈니스 요구 사항을 지원하기 위해 이 솔루션은 네 가지 AWS CloudFormation 템플릿을 제공합니다. Streaming Data Solution for Amazon Kinesis와 유사하게, 이러한 템플릿은 대시보드 및 경보를 사용하여 기능을 모니터링하고 데이터를 보호하는 모범 사례를 적용하도록 구성되어 있습니다.
이점
자동화된 구성
스트리밍 데이터를 손쉽게 캡처, 저장, 처리 및 제공하는 데 필요한 AWS 서비스를 자동으로 구성합니다.
네 가지 템플릿 옵션
서로 다른 네 가지의 AWS CloudFormation 템플릿 옵션 중에서 선택합니다. 프로덕션 환경을 위한 새 서비스 조합을 테스트하고 기존 애플리케이션을 개선할 수 있습니다.
실시간 사용 사례
많은 양의 애플리케이션 로그를 캡처하고 클릭스트림 데이터를 분석하며 데이터 레이크로 지속적으로 전송합니다.
사용자 지정 가능한 소스 코드
솔루션의 기본 코드를 사용자 지정한 다음 솔루션의 모니터링 기능을 사용하여 테스트에서 프로덕션으로 빠르게 전환합니다.
AWS 솔루션 개요
아래 다이어그램은 솔루션의 구현 가이드를 사용하여 자동으로 배포할 수 있는 AWS CloudFormation 템플릿을 보여줍니다.
-
옵션 1
-
옵션 2
-
옵션 3
-
옵션 4
-
옵션 1
-
Amazon Managed Streaming for Apache Kafka(Amazon MSK)를 사용하는 AWS CloudFormation 템플릿
Streaming Data Solution for Amazon MSK 아키텍처
옵션 1 – Amazon MSK를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 다음 아키텍처를 배포합니다.
- Amazon MSK 클러스터.
- Amazon MSK 클러스터와 통신하는 데 필요한 Apache Kafka 클라이언트 라이브러리를 포함하는 Amazon EC2 인스턴스. 이 클라이언트 시스템은 클러스터와 동일한 VPC에 위치하며 AWS Systems Manager 세션 관리자를 통해 액세스할 수 있습니다.
Streaming Data Solution for Amazon MSK
버전 1.7.0
릴리스 날짜: 2022년 11월
작성자: AWS
예상 배포 시간: 25~30분
-
옵션 2
-
Streaming Data Solution for Amazon MSK
버전 1.7.0
릴리스 날짜: 2022년 11월
작성자: AWS
예상 배포 시간: 5분
-
옵션 3
-
Amazon MSK, AWS Lambda, Amazon Kinesis Data Firehose를 사용하는 AWS CloudFormation 템플릿
Streaming Data Solution for Amazon MSK 아키텍처
옵션 3 – Amazon MSK, AWS Lambda, Amazon Kinesis Data Firehose를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 다음을 포함한 참조 아키텍처를 배포합니다.
- Apache Kafka 주제의 레코드를 처리하는 AWS Lambda 함수.
- 데이터가 대상에 전송되기 전에 데이터를 버퍼링하는 Amazon Kinesis Data Firehose 전송 스트림.
- Amazon MSK 클러스터의 모든 원래 이벤트를 저장하는 Amazon Simple Storage Service(Amazon S3) 버킷.
Streaming Data Solution for Amazon MSK
버전 1.7.0
릴리스 날짜: 2022년 11월
작성자: AWS
예상 배포 시간: 10분
- Apache Kafka 주제의 레코드를 처리하는 AWS Lambda 함수.
-
옵션 4
-
Amazon MSK, Amazon Kinesis Data Analytics, Amazon S3를 사용하는 AWS CloudFormation 템플릿
Streaming Data Solution for Amazon MSK 아키텍처
옵션 4 - Amazon MSK, Amazon Kinesis Data Analytics, Amazon S3를 사용하는 AWS CloudFormation 템플릿
이 AWS CloudFormation 템플릿은 다음을 포함한 참조 아키텍처를 배포합니다.
- Amazon MSK 클러스터의 기존 주제에서 이벤트를 읽는 Kinesis Data Analytics Studio 노트북.
- 출력을 저장하는 Amazon Simple Storage Service(Amazon S3) 버킷.
Streaming Data Solution for Amazon MSK
버전 1.7.0
릴리스 날짜: 2022년 11월
작성자: AWS
예상 배포 시간: 10분
- Amazon MSK 클러스터의 기존 주제에서 이벤트를 읽는 Kinesis Data Analytics Studio 노트북.
관련 콘텐츠
AWS 아키텍처 블로그
Amazon MSK Backup for Archival, Replay, or Analytics
이 게시물에서는 MSK 주제를 S3에 백업하여 MSK의 장기 데이터 보존 설정을 줄이는 데 사용할 수 있는 패턴 및 솔루션에 대해 다룹니다. 일부 고객은 데이터 분석 및 기계 학습 워크로드를 위한 장기 데이터를 MSK에 저장합니다. 이 게시물에서는 S3의 주제 데이터를 오프로드하여 이 아키텍처를 간소화하고 S3를 분석 및 기계 학습에 사용하는 패턴을 공유합니다.
전체 블로그 게시물 읽기