Logstash는 다양한 소스로부터 데이터를 수집하고 곧바로 전환하여 원하는 대상에 전송할 수 있도록 하는 경량의 오픈 소스 서버측 데이터 처리 파이프라인입니다. 오픈소스 분석 및 검색 엔진인 Elasticsearch의 데이터 파이프라인으로 자주 사용됩니다. Elasticsearch와의 긴밀한 통합, 강력한 로그 처리 능력, 사전 구축된 200개 이상의 오픈 소스 플러그인을 통해 데이터 인덱싱을 돕는 Logstash는 Elasticsearch에 데이터를 로드할 때 가장 많이 사용됩니다.

Logstash 이점

비정형 데이터를 쉽게 로드

Logstash를 사용하면 시스템 로그, 웹 사이트 로그, 애플리케이션 서버 로그 등 다양한 데이터 원본에서 비정형 데이터를 쉽게 수집할 수 있습니다. 

사전 구축 필터

Logstash가 제공하는 사전 구축 필터로, 사용자는 일반 데이터 유형을 쉽게 전환하고 이를 Elasticsearch에 인덱싱하며, 사용자 지정 데이터 전환 파이프라인을 구축하지 않고도 쿼리를 시작할 수 있습니다.

유연한 플러그인 아키텍처

Github에 이미 사용할 수 있는 200개 이상의 플러그인이 있어, 데이터 파이프라인을 사용자 지정하는 데 필요한 플러그인이 이미 구축되어 있을 수 있습니다. 하지만 본인의 요구 사항에 맞는 것이 없다면 쉽게 만들 수 있습니다.

AWS 기반 Logstash 시작하기

고객이 오픈 소스 Elasticsearch를 쉽게 실행하고 데이터를 수집할 수 있도록 AWS는 Logstash와 쉽게 통합된 Elasticsearch를 제공하는 완전관리형 서비스 Amazon OpenSearch Service(Amazon Elasticsearch Service 후속)를 서비스합니다. 시작하려면 Amazon OpenSearch Service 도메인을 실행하고 Logstash 서버에서 데이터 로드를 시작합니다. AWS 프리 티어를 사용하면 Logstash와 Amazon OpenSearch Service를 무료로 사용해 볼 수 있습니다.

 

대체 데이터 수집 솔루션

Amazon OpenSearch Service는 기본적으로 Amazon Kinesis Data Firehose, Amazon CloudWatch Logs, AWS IoT와 통합되어 있어 Elasticsearch에 데이터를 수집하기가 쉽습니다. 아니면 Apache KafkaFluentd와 같은 오픈 소스 솔루션을 사용해 자신의 데이터 파이프라인을 구축할 수도 있습니다. 본인의 사용 사례에 맞는 수집 도구를 찾고 싶으시면 Amazon OpenSearch Service 데이터 수집 페이지를 참조하세요.

Amazon OpenSearch Service 요금에 대해 자세히 알아보기

요금 페이지로 이동하기
구축할 준비가 되셨습니까?
Amazon OpenSearch Service 시작하기
추가 질문이 있으십니까?
AWS에 문의