Amazon Kinesis Firehose를 사용한 데이터 수집

Amazon Kinesis Firehose를 사용하면 자체 데이터 처리 파이프라인을 구축할 필요 없이 데이터 소스의 원시 스트리밍 데이터를 Elasticsearch 인덱스에서 요구하는 형식으로 손쉽게 변환하고, 이를 Amazon Elasticsearch Service로 로드할 수 있습니다.

이 기능을 사용하려면 AWS Management Console의 Amazon Kinesis Firehose 전송 스트림 구성 탭에서 AWS Lambda 함수를 선택하기만 하면 됩니다. Amazon Kinesis Firehose가 자동으로 AWS Lambda 함수를 모든 입력 데이터 레코드에 적용하고 변환된 데이터를 Amazon Elasticsearch 인덱스로 로드합니다.

Amazon Kinesis Firehose는 변경 없이 사용하거나 Apache 로그 및 시스템 로그와 같은 일반 데이터 소스를 JSON 및 CSV 형식으로 변환할 수 있도록 사용자 지정할 수 있는 사전에 구축된 Lambda 청사진을 제공합니다. 또한, 실패한 작업을 자동으로 재시도하고 원시 스트리밍 데이터를 백업하도록 Amazon Kinesis Firehose를 구성할 수도 있습니다. 자세히 알아보기 »

 

Logstash를 사용한 데이터 수집

Amazon Elasticsearch Service는 소스에서 데이터를 수집하고 이를 변환한 후 Elasticsearch로 로드하는 오픈 소스 데이터 처리 도구인 Logstash와의 통합을 지원합니다. 간단하게 Logstash를 Amazon EC2에 배포하고, Amazon Elasticsearch 도메인을 Logstash 구현을 통해 수신되는 모드 로그에 대한 백엔드 스토어로 설정할 수 있습니다. Logstash는 패턴 매칭을 통해 비정형 로그 데이터를 정형 데이터로 구문 분석, 데이터 레코드 필드의 이름 변경, 제거, 교체 및 수정, 그리고 지표 집계와 같은 일반적인 변환을 손쉽게 수행할 수 있도록 사전에 구축된 필터 라이브러리를 지원합니다. 자세히 알아보기 »

Amazon CloudWatch Logs를 사용한 데이터 수집

Amazon CloudWatch Logs를 사용하면 기존 시스템, 애플리케이션 및 사용자 정의 로그 파일을 이용하여 시스템 및 애플리케이션을 모니터링하고 문제를 해결할 수 있습니다. CloudWatch Logs 구독을 통해 데이터를 Amazon Elasticsearch Service 도메인으로 거의 실시간으로 스트리밍하도록 CloudWatch Logs 로그 그룹을 구성할 수 있습니다. 이미 CloudWatch Logs를 사용하여 로그 데이터를 수집하고 있으며 수집한 데이터를 Amazon Elasticsearch Service 사용자와 공유하려는 경우 이러한 수집 방법이 편리합니다. 자세히 알아보기 »

AWS IoT를 사용한 데이터 수집

AWS IoT는 연결된 디바이스가 쉽고 안전하게 클라우드 애플리케이션 및 다른 디바이스와 상호 작용할 수 있게 해 주는 관리형 클라우드 플랫폼입니다. AWS IoT를 사용하면 가전제품, 내장 센서, TV 셋톱 박스 등과 같은 커넥티드 디바이스의 데이터를 캡처할 수 있습니다. AWS Management console을 사용하여 데이터를 Amazon Elasticsearch Service로 직접 로드하도록 AWS IoT를 구성할 수 있으므로, 고객에게 IoT 데이터 및 지표에 대한 거의 실시간 액세스를 제공할 수 있습니다. 자세히 알아보기 »

적합한 수집 메커니즘을 선택하는 방법

어떤 수집 메커니즘이 적합한지는 데이터 지연 시간이나 데이터 유형과 같은 사용 사례 요구 사항에 따라 달라집니다. 데이터 볼륨이 큰 경우, 데이터 처리량에 맞춰 자동으로 확장되며 지속적인 관리가 필요 없는 완전관리형 서비스인 Amazon Kinesis Firehose를 사용하는 것이 좋습니다. 또한, 이 서비스에서는 데이터를 Amazon Elasticsearch Service 도메인으로 로드하기 전에 변환, 압축 및 배치 처리를 수행할 수 있습니다. 이미 사용 중인 서비스가 무엇인지에 따라 수집 메커니즘을 선택하는 경우가 많습니다. 예를 들어 이미 Amazon CloudWatch Logs를 사용하여 애플리케이션 로그를 수집하고 있는 경우, 추가 작업 없이 간단하게 해당 데이터를 Amazon Elasticsearch Service 도메인으로 로드할 수 있습니다.

다음 단계

Amazon Elasticsearch Service에 대해 자세히 알아보십시오

요금 페이지로 이동하기
구축할 준비가 되셨습니까?
Amazon Elasticsearch Service 시작하기
추가 질문이 있으십니까?
문의하기