Amazon Kinesis Data Firehose

실시간 데이터 스트림을 준비하여 데이터 스토어 및 분석 도구로 로드하십시오

Amazon Kinesis Data Firehose는 스트리밍 데이터를 데이터 스토어 및 분석 도구에 가장 쉽고 안정적으로 로드하는 방법입니다. 스트리밍 데이터를 캡처하고 변환한 후 Amazon S3, Amazon Redshift, Amazon Elasticsearch Service 및 Splunk로 로드하여 이미 사용하고 있는 기존 비즈니스 인텔리전스 도구 및 대시보드를 통해 거의 실시간으로 분석할 수 있습니다. Amazon Kinesis Firehose는 완전관리형 서비스로서 데이터 처리량에 대응하여 자동으로 확장되며 지속적인 관리가 필요 없습니다. 또한, 데이터를 로드하기 전에 배치 처리, 압축, 변환 및 암호화하여 대상 스토리지의 사용량을 최소화하고 보안을 강화할 수 있습니다.

AWS Management Console에서 클릭 몇 번으로 손쉽게 Firehose 전송 스트림을 생성 및 구성하고, AWS로 지속적으로 로드되도록 수많은 데이터 소스에서 스트림으로 데이터 전송을 시작할 수 있습니다. 이 모든 작업이 몇 분 만에 완료됩니다. 비용 효율인 스토리지와 분석을 위해, 데이터를 Amazon S3로 전송하기 전에 수신되는 데이터를 Apache Parquet 및 Apache ORC와 같은 열 기반 형식으로 변환하도록 전송 스트림을 구성할 수도 있습니다.

Kinesis Data Firehose에서는 서비스를 통해 전송한 데이터 양에 대해서만 비용을 지불하며 해당하는 경우에는 데이터 형식 변환 비용이 추가됩니다. 최소 요금이나 설치 비용이 없습니다.

동영상: What is Amazon Kinesis Data Firehose?

장점

사용 편의성

Amazon Kinesis Data Firehose는 AWS Management Console에서 클릭 몇 번으로 스트리밍 데이터를 캡처, 변환 및 로드할 수 있는 간편한 방법을 제공합니다. 간단하게 Firehose 전송 스트림을 생성하고, 대상을 선택한 다음, 수십만 개의 데이터 원본에서 동시에 실시간 데이터 전송을 시작할 수 있습니다. 또한, 지정한 간격에 따라 데이터를 대상으로 지속적으로 로드하는 데 필요한 확장, 샤딩, 모니터링 등과 같은 스트림 관리를 제공합니다.

AWS 데이터 스토어와 통합

Amazon Kinesis Data Firehose는 Amazon S3, Amazon Redshift 및 Amazon Elasticsearch Service와 통합됩니다. AWS Management Console에서 Kinesis Data Firehose가 Amazon S3 버킷이나 Amazon Redshift 테이블 또는 Amazon Elasticsearch 도메인을 가리키도록 설정할 수 있습니다. 그런 다음 기존 분석 애플리케이션 및 도구를 사용하여 스트리밍 데이터를 분석할 수 있습니다.

서버리스 데이터 변환

Amazon Kinesis Data Firehose를 사용하면 스트리밍 데이터가 데이터 스토어로 로드되기 전에 이를 준비할 수 있습니다. Kinesis Data Firehose에서는 자체 데이터 처리 파이프라인을 구축할 필요 없이 데이터 원본의 원시 스트리밍 데이터를 대상 데이터 스토어에서 요구하는 형식으로 손쉽게 변환할 수 있습니다. 자세히 알아보기 »

거의 실시간

Amazon Kinesis Data Firehose는 데이터를 거의 실시간으로 캡처 및 로드합니다. 즉, 데이터가 Amazon Kinesis Data Firehose로 전송된 후 60초 이내에 새로운 데이터를 Amazon S3, Amazon Redshift, Amazon Elasticsearch Service 및 Splunk로 로드합니다. 따라서 새로운 데이터에 더 빨리 액세스하여 비즈니스 및 운영 이벤트에 좀 더 신속하게 대응할 수 있습니다.

지속적인 관리 불필요

Amazon Kinesis Data Firehose는 스트리밍 데이터를 로드하는 데 필요한 컴퓨팅, 메모리 및 네트워크 리소스를 자동으로 프로비저닝, 관리 및 확장하는 완전 관리형 서비스입니다. 설정이 완료되면 Kinesis Data Firehose는 데이터를 수신하는 대로 계속해서 로드합니다.

사용한 만큼만 비용 지불

Amazon Kinesis Data Firehose에서는 서비스를 통해 전송한 데이터 볼륨에 대해서만 비용을 지불하며, 해당하는 경우에는 데이터 형식 변환 비용이 추가됩니다. 최소 요금이나 사전 약정은 없습니다.

작동 방식

product-page-diagram_Amazon-Kinesis-Data-Firehose

사용 사례

IoT Analytics

Amazon Kinesis Data Firehose를 사용하면 가전제품, 내장형 센서, TV 셋톱 박스 등과 같은 연결된 디바이스의 데이터를 지속적으로 캡처할 수 있습니다. Kinesis Data Firehose는 데이터를 Amazon S3 및 Amazon Redshift로 로드하므로, 사용자는 고객에게 지표, 통찰력 및 대시보드에 대한 거의 실시간 액세스를 제공할 수 있습니다.


클릭스트림 분석

Amazon Kinesis Data Firehose를 사용하여 디지털 콘텐츠에 대한 실시간 지표를 제공할 수 있으므로 콘텐츠 작성자와 마케팅 담당자가 가장 효과적인 방법으로 고객과 소통할 수 있습니다. 압축 및 암호화되어 Amazon Elasticsearch Service 및 Amazon Redshift로 전송된 수많은 작은 크기의 메시지를 스트리밍할 수 있습니다. 그런 다음 거의 실시간으로 해당 데이터를 집계, 필터링 및 처리하고 콘텐츠 성능 대시보드를 갱신할 수 있습니다. 예를 들어 Hearst Corporation은 Kinesis Data Firehose를 사용해 클릭스트림 분석 플랫폼을 구축하여 300개가 넘는 전 세계 Hearst 웹 사이트에서 매일 30테라바이트의 데이터를 전송 및 처리합니다. Hearst는 이 플랫폼으로 웹 사이트 클릭에서 집계된 지표까지 전체 데이터 스트림을 몇 분 만에 편집자에게 전달할 수 있습니다. 사례 연구 읽기»


로그 분석

클라우드와 온프레미스에서 실행 중인 애플리케이션 및 서버의 로그 데이터는 애플리케이션을 모니터링하고 문제를 신속하게 해결하는 데 도움이 될 수 있습니다. 예를 들어 로그 데이터를 수집, 모니터링 및 분석함으로써 애플리케이션 오류가 발생하는 대로 이를 탐지하고 근본 원인을 식별할 수 있습니다. 서버에 Amazon Kinesis 에이전트를 손쉽게 설치 및 구성하여 자동으로 애플리케이션과 서버 로그 파일을 감시하고 해당 데이터를 Kinesis Data Firehose로 전송할 수 있습니다. Kinesis Data Firehose는 로그 데이터를 Amazon Elasticsearch Service로 계속해서 스트리밍하므로, Kibana를 사용해 데이터를 시각화하고 분석할 수 있습니다. 


보안 모니터링

Kinesis Data Firehose는 대상으로서 Splunk를 지원합니다. 즉, 네트워크 트래픽 흐름 로그를 캡처하여 Kinesis Data Firehose로 전송할 수 있으며 그러면 Kinesis Data Firehose에서 데이터를 변환하고 보강하여 Splunk로 로드할 수 있습니다. 이 솔루션을 사용하면 실시간으로 네트워크 보안을 모니터링하고 잠재적 위협이 발생할 때 알릴 수 있습니다.

Amazon Kinesis Data Firehose 시작하기

icon1

AWS 계정 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다.
icon2

개발자 안내서 검토

개발자 안내서에서 Kinesis Data Firehose에 대해 알아봅니다.
icon3

데이터 스트리밍 시작

자습서를 따라 직접 사용해 봅니다.

Amazon Kinesis Data Firehose 기능에 대해 자세히 알아보십시오

기능 페이지로 이동하기
시작할 준비가 되셨습니까?
가입
추가 질문이 있으십니까?
AWS에 문의하기