AWS 기반 Amazon OpenSearch Service를 사용하여 20분 만에 중앙 집중식 로그 분석 플랫폼을 구축하세요.
개요
Centralized Logging with OpenSearch는 Amazon OpenSearch Service를 사용하여 다양한 소스의 로그 데이터를 수집하고 모으고 시각화하는 데 도움이 됩니다. 이 AWS 솔루션은 몇 번의 클릭만으로 로그 모으기 파이프라인을 생성하는 데 사용할 수 있는 웹 기반 콘솔을 제공합니다. 로그 모으기 파이프라인에는 로그 수집 에이전트 배포, 코드 작성 없는 로그 강화, 버퍼 계층 생성 및 OpenSearch 인덱스 구성이 포함됩니다. OpenSearch Service에 로그가 저장되면 솔루션은 다양한 형식(예: Nginx, JSON 및 Spring Boot)의 AWS 서비스 로그와 애플리케이션 로그를 분석할 수 있는 즉시 사용 가능한 대시보드를 자동으로 생성합니다. 이 솔루션을 다른 AWS 서비스와 결합하여 AWS 애플리케이션의 로깅과 모니터링을 시작할 수 있는 턴키 환경을 설정할 수 있습니다.
새로운 소식
- Amazon Athena 기반 서버리스 형태의 비용 효율적인 로그 분석 엔진을 제공하기 위해 Light Engine이 추가되었습니다.
- 더 많은 로그 처리 기능을 제공하기 위해 Amazon OpenSearch 수집이 추가되었습니다.
다른 새 기능에 대해 알아보려면 개정 페이지를 참조하세요.
장점
AWS 계정에서 웹 콘솔을 사용하여 애플리케이션 로그와 AWS 서비스 로그를 모두 수집한 다음 시각화 대시보드를 사용하여 로그를 분석합니다.
고가용성과 사용량에 따른 요금 청구 모델이 기본적으로 포함된 서버리스 기술을 사용하여 인프라 관리 필요성을 줄이고 비즈니스를 위한 로그 분석을 구축하는 데 더 집중할 수 있습니다.
이 솔루션은 오픈 소스이며 상업적 용도로 무료로 사용할 수 있습니다. AWS 사용량에 대해서만 비용을 지불하면 됩니다. 소스 코드를 참조로 사용하여 요구 사항에 맞게 직접 구현할 수 있습니다.
기술 세부 정보
1단계
Amazon CloudFront는 Amazon Simple Storage Service(S3) 버킷에 호스팅된 프런트엔드 웹 사용자 인터페이스(UI) 자산을 배포합니다.
2단계
Amazon Cognito 사용자 풀 또는 OpenID 커넥터(OIDC)를 인증에 사용할 수 있습니다.
3단계
AWS AppSync는 백엔드 GraphQL API를 제공합니다.
4단계
Amazon DynamoDB는 솔루션 관련 정보를 백엔드 데이터베이스로 저장합니다.
5단계
AWS Lambda는 다른 AWS 서비스와 상호 작용하여 로그 파이프라인 또는 로그 에이전트를 관리하는 핵심 로직을 처리하고 DynamoDB 테이블에서 업데이트된 정보를 가져옵니다.
6단계
AWS Step Functions는 로그 파이프라인 관리를 위해 사전 정의된 스택 집합의 온디맨드 CloudFormation 배포를 오케스트레이션합니다. 로그 파이프라인 스택은 별도의 AWS 리소스를 배포하며, 로그를 수집 및 처리하고 추가 분석 및 시각화를 위해 Amazon OpenSearch Service로 모으는 데 사용됩니다.
7단계
서비스 로그 파이프라인 또는 애플리케이션 로그 파이프라인은 Centralized Logging with OpenSearch 콘솔을 통해 필요에 따라 프로비저닝됩니다.
8단계
AWS Systems Manager와 Amazon EventBridge는 애플리케이션 서버용 로그 에이전트(Fluent Bit)를 설치하고 에이전트의 상태를 모니터링하는 등 애플리케이션 서버에서 로그를 수집하기 위한 로그 에이전트를 관리합니다.
9단계
Amazon Elastic Compute Cloud(Amazon EC2) 또는 Amazon Elastic Kubernetes Service(Amazon EKS)는 Fluent Bit 에이전트를 설치하고 로그 데이터를 애플리케이션 로그 파이프라인에 업로드합니다.
10단계
애플리케이션 로그 파이프라인은 애플리케이션 로그를 읽은 후 구문 분석하고 처리하여 OpenSearch Service 도메인 또는 Light Engine으로 모읍니다.
11단계
서비스 로그 파이프라인은 AWS 서비스 로그를 읽은 후 구문 분석하고 처리하여 OpenSearch Service 도메인 또는 Light Engine으로 모읍니다.
1단계
Amazon CloudFront는 Amazon Simple Storage Service(S3) 버킷에 호스팅된 프런트엔드 웹 사용자 인터페이스(UI) 자산을 배포합니다.
2단계
Amazon Cognito 사용자 풀 또는 OpenID 커넥터(OIDC)를 인증에 사용할 수 있습니다.
3단계
AWS AppSync는 백엔드 GraphQL API를 제공합니다.
4단계
Amazon DynamoDB는 솔루션 관련 정보를 백엔드 데이터베이스로 저장합니다.
5단계
AWS Lambda는 다른 AWS 서비스와 상호 작용하여 로그 파이프라인 또는 로그 에이전트를 관리하는 핵심 로직을 처리하고 DynamoDB 테이블에서 업데이트된 정보를 가져옵니다.
6단계
AWS Step Functions는 로그 파이프라인 관리를 위해 사전 정의된 스택 집합의 온디맨드 CloudFormation 배포를 오케스트레이션합니다. 로그 파이프라인 스택은 별도의 AWS 리소스를 배포하며, 로그를 수집 및 처리하고 추가 분석 및 시각화를 위해 Amazon OpenSearch Service로 모으는 데 사용됩니다.
7단계
서비스 로그 파이프라인 또는 애플리케이션 로그 파이프라인은 Centralized Logging with OpenSearch 콘솔을 통해 필요에 따라 프로비저닝됩니다.
8단계
AWS Systems Manager와 Amazon EventBridge는 애플리케이션 서버용 로그 에이전트(Fluent Bit)를 설치하고 에이전트의 상태를 모니터링하는 등 애플리케이션 서버에서 로그를 수집하기 위한 로그 에이전트를 관리합니다.
9단계
Amazon Elastic Compute Cloud(Amazon EC2) 또는 Amazon Elastic Kubernetes Service(Amazon EKS)는 Fluent Bit 에이전트를 설치하고 로그 데이터를 애플리케이션 로그 파이프라인에 업로드합니다.
10단계
애플리케이션 로그 파이프라인은 애플리케이션 로그를 읽은 후 구문 분석하고 처리하여 OpenSearch Service 도메인 또는 Light Engine으로 모읍니다.
11단계
서비스 로그 파이프라인은 AWS 서비스 로그를 읽은 후 구문 분석하고 처리하여 OpenSearch Service 도메인 또는 Light Engine으로 모읍니다.
