Amazon Kinesis Data Firehose

실시간 데이터 스트림을 준비하여 데이터 스토어 및 분석 서비스로 로드

Amazon Kinesis Data Firehose는 스트리밍 데이터를 데이터 레이크, 데이터 스토어 및 분석 서비스에 안정적으로 로드하는 가장 쉬운 방법입니다. Amazon Kinesis Data Firehose는 스트리밍 데이터를 캡처하고 변환하고 Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, 일반 HTTP 엔드포인트 및 Datadog, New Relic, MongoDB, Splunk와 같은 서비스 공급자로 전송할 수 있습니다. Amazon Kinesis Data Firehose는 데이터 처리량에 대응하여 자동으로 확장되며 지속적인 관리가 필요 없는 완전관리형 서비스입니다. 또한, 데이터 스트림을 로드하기 전에 배치 처리, 압축, 변환 및 암호화하여 스토리지의 사용량을 최소화하고 보안을 강화할 수 있습니다.

AWS Management Console에서 Firehose 전송 스트림을 손쉽게 생성하고, 클릭 몇 번으로 구성한 다음, 수십만 개의 데이터 원본에서 지정 대상으로 스트리밍 데이터를 수집하기 시작할 수 있습니다. 또한 데이터가 전송되기 전에 수신 데이터를 Apache Parquet 및 Apache ORC와 같은 개방형 표준 기반 형식으로 자동으로 변환하도록 데이터 스트림을 구성할 수도 있습니다.

Amazon Kinesis Data Firehose에는 최소 요금이나 설치 비용이 들지 않습니다. 서비스를 통해 전송하는 데이터 양에 대한 비용을 지불하며, 해당하는 경우 데이터 형식 변환, Amazon VPC 전송 및 데이터 전송에 대한 비용도 지불합니다.

개념 증명 또는 평가를 위한 지원 요청 »
Amazon Kinesis Data Firehose란 무엇입니까? (1:45)

이점

사용 편의성

Amazon Kinesis Data Firehose는 AWS Management Console에서 클릭 몇 번으로 스트리밍 데이터를 캡처, 변환 및 로드할 수 있는 간편한 방법을 제공합니다. Firehose 전송 스트림을 신속하게 생성하고, 대상을 선택한 다음, 수십만 개의 데이터 원본에서 동시에 실시간 데이터 전송을 시작할 수 있습니다. 또한, 지정한 간격에 따라 데이터를 대상으로 지속적으로 로드하는 데 필요한 확장, 샤딩, 모니터링 등과 같은 스트림 관리를 제공합니다.

AWS 서비스 및 서비스 공급업체와 통합

Amazon Kinesis Data Firehose는 Amazon S3, Amazon Redshift 및 Amazon Elasticsearch Service와 통합됩니다. 일반 HTTP 엔드포인트뿐만 아니라 Datadog, New Relic, MongoDBSplunk와 같은 서비스 공급업체에 데이터를 직접 제공할 수도 있습니다. AWS Management Console에서 Kinesis Data Firehose가 원하는 대상을 가리키도록 설정하고 기존 애플리케이션과 도구를 사용하여 스트리밍 데이터를 분석할 수 있습니다.

서버리스 데이터 변환

Amazon Kinesis Data Firehose를 사용하면 스트리밍 데이터가 데이터 스토어로 로드되기 전에 미리 준비할 수 있습니다. Kinesis Data Firehose에서는 자체 데이터 처리 파이프라인을 구축할 필요 없이 데이터 원본의 원시 스트리밍 데이터를 대상 데이터 스토어에서 요구하는 형식(Apache Parquet, Apache ORC 등)으로 손쉽게 변환할 수 있습니다. 자세히 알아보기 »

거의 실시간

Amazon Kinesis Data Firehose는 데이터를 거의 실시간으로 캡처 및 로드합니다. 데이터가 이 서비스로 전송된 후 60초 이내에 새로운 데이터를 대상으로 로드합니다. 따라서 새로운 데이터에 더 빨리 액세스하여 비즈니스 및 운영 이벤트에 더 신속하게 대응할 수 있습니다.

지속적인 관리 불필요

Amazon Kinesis Data Firehose는 스트리밍 데이터를 처리하고 로드하는 데 필요한 컴퓨팅, 메모리 및 네트워크 리소스를 자동으로 프로비저닝, 관리 및 확장하는 완전관리형 서비스입니다. 설정이 완료되면 Kinesis Data Firehose가 데이터 스트림이 수신되는 대로 지속적으로 대상으로 로드합니다.

사용한 만큼만 비용 지불

Amazon Kinesis Data Firehose에서는 서비스를 통해 전송한 데이터 볼륨에 대해서만 비용을 지불하며, 해당하는 경우에는 데이터 형식 변환 비용이 추가됩니다. 또한 해당하는 경우 Amazon VPC 전송 및 데이터 전송 요금도 지불합니다. 최소 요금이나 사전 약정은 없습니다.

작동 방식

Amazon Kinesis Data Firehose의 작동 방식

사용 사례

Amazon Kinesis Data Firehose는 스트리밍 데이터를 데이터 레이크, 데이터 스토어 및 분석 도구에 안정적으로 로드하는 가장 쉬운 방법입니다. 다음은 고객이 Amazon Kinesis Data Firehose를 사용하여 해결하는 주요 사용 사례의 예입니다.

IoT Analytics

Amazon Kinesis Data Firehose를 사용하면 가전제품, 내장형 센서, TV 셋톱 박스 등과 같은 연결된 디바이스의 데이터를 지속적으로 캡처할 수 있습니다. Amazon Kinesis Data Firehose는 데이터를 지정된 대상에 로드하여 지표, 인사이트 및 대시보드에 대한 거의 실시간 액세스할 수 있도록 지원합니다.

클릭스트림 분석

Amazon Kinesis Data Firehose를 사용하면 실시간으로 클릭스트림 데이터를 수집할 수 있으므로 마케팅 담당자가 가장 효과적인 방법으로 고객과 소통할 수 있습니다. 압축 및 암호화되어 대상으로 전송되는 수십억 개의 작은 메시지를 스트리밍할 수 있습니다. 그런 다음 거의 실시간으로 해당 데이터를 집계, 필터링 및 처리하고 콘텐츠 성능 대시보드를 갱신할 수 있습니다.

로그 분석

로그 데이터를 수집, 모니터링 및 분석함으로써 애플리케이션 오류가 발생하는 대로 이를 탐지하고 근본 원인을 식별할 수 있습니다. 서버에 Amazon Kinesis 에이전트를 손쉽게 설치 및 구성하여 자동으로 애플리케이션과 서버 로그 파일을 감시하고 해당 데이터를 Kinesis Data Firehose로 전송할 수 있습니다. Kinesis Data Firehose는 로그 데이터를 대상으로 지속적으로 스트리밍하므로 해당 데이터를 시각화하고 분석할 수 있습니다.

보안 모니터링

Kinesis Data Firehose는 대상으로서 Splunk를 지원합니다. 즉, 네트워크 트래픽 흐름 로그를 캡처하여 Kinesis Data Firehose로 전송할 수 있으며 그러면 Kinesis Data Firehose에서 데이터를 변환하고 보강하여 Splunk로 로드할 수 있습니다. 이 솔루션을 사용하면 실시간으로 네트워크 보안을 모니터링하고 잠재적 위협이 발생할 때 알릴 수 있습니다.

사례 연구

3Victors
3Victors는 세계 최대 규모의 예약 시스템에서 매일 10억 건 이상의 전 세계 여행 검색과 2,300억 달러에 달하는 여행 일정을 수집합니다.
사례 연구 읽기 
Hearst
Hearst는 분석을 위해 웹 사이트에서 매일 30테라바이트의 클릭스트림 데이터를 스트리밍합니다.
사례 연구 읽기 
Comcast
Comcast는 고객 선호 사항을 캡처하고 분석하여 풍부한 엔터테인먼트 경험을 제공합니다.
사례 연구 읽기 
Redfin
Redfin은 안정적인 로그 수집 파이프라인을 구축하여 다운스트림 서비스의 SLA를 개선했습니다.
사례 연구 읽기 
Realtor.com
Realtor.com은 광고 노출 데이터를 스트리밍하고 실행 가능한 통찰력을 확보하여 광고 성과를 개선합니다.
사례 연구 읽기 
Repp Health
Repp Health는 Amazon Kinesis 서비스를 사용하여 IoT 스트리밍 데이터를 수집 및 모니터링하고 위치 분석을 위해 Amazon S3 데이터 레이크로 로드합니다.
사례 연구 읽기 

블로그 게시물

날짜
  • 날짜
1

Amazon Kinesis Data Firehose에 대한 블로그를 확인하세요.

Amazon Kinesis Data Firehose 시작하기

개발자 안내서 읽기
개발자 안내서 검토

개발자 안내서에서 Kinesis Data Firehose에 대해 알아봅니다.

자세히 알아보기 
무료 AWS 계정에 가입
무료 계정에 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다. 

가입 
Kinesis Data Firehose 자습서 시작
데이터 스트리밍 시작

이 자습서를 따라 직접 사용해 봅니다.

자습서 시작하기 

Amazon Kinesis Data Firehose 기능에 대해 자세히 알아보십시오

기능 페이지로 이동하기
시작할 준비가 되셨습니까?
가입
추가 질문이 있으십니까?
문의처