Amazon Elasticsearch Service는 Elasticsearch의 간편한 실시간 API와 더불어 프로덕션 워크로드에 필요한 가용성, 확장성, 보안성을 제공하는 완전관리형 서비스입니다. Amazon Elasticsearch Service는 로그 분석, 애플리케이션 모니터링, 대화형 검색 및 기타 분석 사용 사례에 매우 적합합니다. 하지만 데이터를 데이터 소스에서 Elasticsearch 인덱스로 수집, 변환, 매핑 및 로딩하는 작업은 어렵고 시간 소모적인 작업이 될 수 있습니다. 원시 데이터를 JSON이나 CSV 같은 정형 데이터 형식으로 변환하고, 데이터를 정리하고, 이를 대상 데이터 필드에 매핑해야 합니다. 또한, 클러스터의 컴퓨팅 및 네트워킹 리소스를 오버로드하지 않고 데이터를 쿼리에 즉시 사용할 수 있도록 하려면 효율적인 로딩을 위해 데이터를 일괄 처리하고 버퍼링해야 합니다. 이 모든 작업을 간편하게 수행하기 위해 Amazon Elasticsearch Service의 기본 통합 기능을 사용할 수 있으며 특정 사용 사례 요구 사항에 따라 Amazon Kinesis Firehose, LogstashAmazon CloudWatch Logs 또는 AWS IoT와 통합할 수 있습니다.


스트리밍 데이터가 Amazon Elasticsearch Service로 로드되기 전에 이를 준비하도록 Amazon Kinesis Firehose를 구성할 수 있습니다. 이 기능을 사용하면 자체 데이터 처리 파이프라인을 구축할 필요 없이 데이터 소스의 원시 스트리밍 데이터를 Elasticsearch 인덱스에서 요구하는 형식으로 손쉽게 변환할 수 있습니다.

이 기능을 사용하려면 AWS Management Console의 Amazon Kinesis Firehose 전송 스트림 구성 탭에서 AWS Lambda 함수를 선택하기만 하면 됩니다. Amazon Kinesis Firehose가 자동으로 AWS Lambda 함수를 모든 입력 데이터 레코드에 적용하고 변환된 데이터를 Amazon Elasticsearch 인덱스로 로드합니다.

Amazon Kinesis Firehose는 Apache 로그 및 시스템 로그와 같은 일반 데이터 소스를 JSON 및 CSV 형식으로 변환할 수 있도록 사전에 구축된 Lambda 청사진을 제공합니다. 이러한 사전에 구축된 청사진을 그대로 사용하거나, 추가로 사용자 지정하거나, 자체 사용자 지정 함수를 작성할 수 있습니다. 또한, 실패한 작업을 자동으로 재시도하고 원시 스트리밍 데이터를 백업하도록 Amazon Kinesis Firehose를 구성할 수도 있습니다. 자세히 알아보기 »


Amazon Elasticsearch Service는 소스에서 데이터를 수집하고, 이를 변환한 후, Elasticsearch로 로드하는 오픈 소스 데이터 처리 도구인 Logstash와의 통합을 지원합니다. 간단하게 Logstash를 Amazon EC2에 배포하고, Amazon Elasticsearch 도메인을 Logstash 구현을 통해 수신되는 모드 로그에 대한 백엔드 스토어로 설정할 수 있습니다. Logstash는 패턴 매칭을 통해 비정형 로그 데이터를 정형 데이터로 구문 분석, 데이터 레코드 필드의 이름 변경, 제거, 교체 및 수정, 그리고 지표 집계와 같은 일반적인 변환을 손쉽게 수행할 수 있도록 사전에 구축된 필터 라이브러리를 지원합니다. 자세히 알아보기 »


Amazon CloudWatch Logs를 사용하면 기존 시스템, 애플리케이션 및 사용자 정의 로그 파일을 이용하여 시스템 및 애플리케이션을 모니터링하고 문제를 해결할 수 있습니다. CloudWatch Logs 구독을 통해 데이터를 Amazon Elasticsearch Service 도메인으로 거의 실시간으로 스트리밍하도록 CloudWatch Logs 로그 그룹을 구성할 수 있습니다. 이미 CloudWatch Logs를 사용하여 로그 데이터를 수집하고 있으며 수집한 데이터를 Amazon Elasticsearch Service 사용자와 공유하려는 경우 이러한 수집 방법이 편리합니다. 자세히 알아보기 »


AWS IoT는 연결된 디바이스가 쉽고 안전하게 클라우드 애플리케이션 및 다른 디바이스와 상호 작용할 수 있게 해주는 관리형 클라우드 플랫폼입니다. AWS IoT를 사용하면 가전제품, 내장된 센서, TV 셋톱 박스 등 연결된 디바이스에서 데이터를 캡처할 수 있으며, 데이터를 Amazon Elasticsearch Service로 직접 로드하도록 AWS Management Console에서 AWS IoT를 구성할 수 있습니다. 이를 통해 고객에게 IoT 데이터와 지표에 대한 거의 실시간 액세스를 제공할 수 있습니다. 자세히 알아보기 »

어떤 수집 메커니즘이 적합한지는 데이터 지연 시간이나 데이터 유형과 같이 특정 사용 사례의 요구 사항에 따라 달라집니다. 데이터 볼륨이 큰 경우, 데이터 처리량에 맞춰 자동으로 확장하며 지속적인 관리가 필요 없는 완전관리형 서비스인 Amazon Kinesis Firehose를 사용하는 것이 좋습니다. 또한, 이 서비스에서는 데이터를 Amazon Elasticsearch Service 도메인으로 로드하기 전에 변환, 압축 및 일괄 처리를 수행할 수 있습니다. 이미 사용 중인 서비스가 무엇인지에 따라 수집 메커니즘을 선택하는 경우가 많습니다. 예를 들어 이미 Amazon CloudWatch Logs를 사용하여 애플리케이션 로그를 수집하고 있는 경우, 추가 작업 없이 간단하게 해당 데이터를 Amazon Elasticsearch Service 도메인으로 로드할 수 있습니다.

AWS 프리 티어를 사용하여 시작할 수 있으며, 매월 최대 750시간의 단일 AZ t2.micro.elasticsearch 또는 t2.small.elasticsearch 인스턴스와 매월 10GB의 Amazon EBS 스토리지 옵션이 무료로 제공됩니다.

무료로 시작하기