로그 분석이란 무엇인가요?

컴퓨터로 레코드를 생성하기 시작한 이래, 우리는 그 레코드를 대량으로 분석하려고 노력해 왔습니다. 레코드는 디바이스, 애플리케이션, 네트워크 등에서 내보낸 다음 시간순으로 로그로 기록됩니다. 대부분의 경우 이러한 로그는 애플리케이션 또는 디바이스 전반에서 완전하게 문서화되거나 일관된 형식으로 생성되지 않으므로 로그 분석의 필요성이 더욱 커집니다.

로그 분석을 통해, 운영 분석을 위한 아래의 목록과 같은 중요한 질문에 답할 수 있습니다. 이러한 질문에 실시간으로 답할 수 있다고 생각해 보세요.

• 인프라가 제대로 작동하는가?
• 지연 시간과 오류율은 얼마인가?
• 내 애플리케이션 문제의 원인은 무엇인가?
• 의심스러운 인증 활동이 있는가?
• 이 IP 주소에서 어떤 데이터에 액세스했는가?
• 부정 행위 사례가 있는가?
• 사용자가 관심을 보이는 콘텐츠/제품은 무엇인가?
• 가장 많이 또는 가장 적게 사용되는 기능은 무엇인가?
• 어떤 사용자가 가장 적극적이고 그 이유는 무엇인가?

로그 분석의 이점에 대한 자세한 내용은 Omdia에서 이 백서를 참조하세요.

로그 분석의 주요 사용자는 DevOps 엔지니어, 사이트 신뢰성 담당자, 엔터프라이즈 아키텍트입니다.

로그 분석 전략은 데이터 수집, 변환 및 보강, 인덱싱 및 샤딩 전략, 인프라 계획, 그리고 마지막으로 데이터 수명 주기 및 데이터 아카이빙에 대해 다루어야 합니다. 일반적인 단계는 다음과 같습니다. 

1. 먼저, 데이터 이동 또는 데이터 수집을 식별해야 합니다. 다시 말해, 수집 경로를 알아내야 합니다.

2. 둘째, 로그 줄 또는 문자열의 데이터 변환을 설정해야 합니다. 로그 분석은 JSON을 사용하여 작동하는 경우가 많으며, 필요에 따라 데이터를 적절히 변환하고 보강해야 합니다.

3. 셋째, 인덱싱 및 샤드 전략을 수립해야 합니다. 인덱스를 적절하게 생성하는 것이 중요합니다.

4. 넷째, 인프라 계획을 통해 인스턴스 유형과 필요한 인스턴스 수를 파악해야 합니다.

5. 마지막으로, 로그 크기와 비용을 제어하려면 데이터 수명 주기 및 아카이빙에 대한 전반적인 전략이 필요합니다.

손쉬운 배포 및 관리

Amazon OpenSearch Service를 사용하면 클러스터를 손쉽게 설정하고 배포할 수 있으며, 하드웨어 프로비저닝, 소프트웨어 설치 및 패치 적용, 장애 복구, 백업 및 모니터링과 같은 관리 작업의 복잡성을 해소하여 운영 오버헤드를 줄이고 핵심 비즈니스 요구 사항을 지원하는 데 집중할 수 있습니다.

규모와 신뢰성 확보

단일 도메인에 최대 3PB의 인스턴스 스토리지를 제공하는 Amazon OpenSearch Service를 사용하면 가동 중지 없이 인스턴스를 손쉽게 추가하거나 제거할 수 있습니다. 또한 이 서비스는 저장 시 암호화, 전송 중 암호화, 사용자 인증 및 VPC 지원 기능을 기본 제공하므로 데이터를 항상 안전하게 보호할 수 있습니다.

다른 AWS 서비스와의 손쉬운 통합

Amazon OpenSearch Service는 Kinesis Data Firehose, Managed Streaming for Kafka, IoT, CloudWatch Logs, KMS, Cognito, IAM 등 다른 AWS 서비스와의 통합 기능을 기본 제공하므로 모든 소스에서 데이터를 안전하게 수집, 분석 및 시각화할 수 있습니다.

비용 절감

Amazon OpenSearch Service에서는 사용한 만큼만 비용을 지불하며, 사전 비용이나 사용 요구 사항은 없습니다. 연중 무휴 모니터링 및 AWS 지원을 통해 인프라를 확장, 보안 및 모니터링하기 위해 Elasticsearch 전문가 팀이 필요하지 않으므로 총 운영 비용이 절감됩니다.

실시간 애플리케이션 및 인프라 모니터링

애플리케이션 및 IT 사일로에서 모든 로그와 지표를 캡처하고 중앙 집중화하여 애플리케이션 및 인프라 스택을 심층적으로 파악하고 가동 시간을 보장합니다. Amazon OpenSearch Service는 데이터를 인덱싱하고 실시간으로 분석에 사용할 수 있도록 하며 Kibana 대시보드를 사용하여 성능 지표를 실시간으로 시각화할 수 있도록 지원합니다.

세계 최고의 여행사 중 하나인 Expedia Group은 애플리케이션을 모니터링하는 데 Amazon OpenSearch Service를 사용합니다. Amazon OpenSearch Service는 Expedia가 매우 큰 볼륨의 Docker 로그를 비용 효율적으로 모니터링하고, 실시간으로 문제를 파악 및 해결하고, 추가 로그 소스를 수용하도록 손쉽게 확장하고, 운영 오버헤드를 오프로드하도록 지원합니다.  자세히 알아보기 »

근본 원인 분석

환경 전반의 문제(서버, 코드)를 신속하게 파악하여 평균 식별 시간(MTTI)과 평균 해결 시간(MTTR)을 줄입니다. Kibana가 내장된 Amazon OpenSearch Service는 수백만 개의 이벤트를 검색하고 애플리케이션 및 인프라 전반에서 상관 관계를 분석하여 문제의 근본 원인을 신속하게 진단하고 가동 시간을 개선할 수 있게 해줍니다.

3D 설계 및 엔지니어링 소프트웨어의 선도적 공급업체인 Autodesk는 비용 효율적인 통합 로깅 솔루션을 구축하여 애플리케이션 문제를 보다 신속하게 찾아 해결하고 고객 경험을 개선하기 위해 Amazon OpenSearch Service, Amazon Kinesis Data Firehose 및 Amazon Kinesis Data Analytics를 비롯한 AWS 서비스를 활용합니다.  자세히 알아보기 »

클릭스트림 분석

사용자 행동, 소요 시간, 인기 콘텐츠 등, 애플리케이션 및 웹 사이트와의 사용자 상호 작용과 웹 콘텐츠의 성과에 대한 실시간 보기를 제공합니다. Amazon OpenSearch Service 및 Amazon Kinesis Data Firehose 또는 Amazon Managed Streaming for Kafka를 사용하면 클릭스트림 로그를 손쉽게 집계하고 분석하여 고객에 대한 이해도를 높일 수 있습니다.

미디어 대기업인 Hearst Corporation은 Amazon OpenSearch Service, Amazon Kinesis Streams 및 Amazon Kinesis Firehose를 사용해 클릭스트림 분석 플랫폼을 구축하여 하루에 30테라바이트의 데이터를 전송 및 처리합니다. Hearst는 이 플랫폼으로 웹 사이트 클릭에서 집계된 데이터까지 전체 데이터 스트림을 몇 분 만에 편집자에게 전달할 수 있습니다.  자세히 알아보기 »

보안 인텔리전스 및 이벤트 관리(SIEM)

애플리케이션, 네트워크 및 운영 체제를 포함한 전체 환경에서 생성된 이벤트를 중앙 집중화하고 분석하여 네트워크에서 악의적이거나 의심스러운 활동을 식별합니다. Amazon OpenSearch Service를 사용하면 수집되는 대로 데이터를 인덱싱할 수 있으므로 여러 소스의 데이터를 즉시 분석하며 위협을 더 빠르게 발견하고 예방할 수 있습니다.