로그 분석은 디지털 마케팅, 애플리케이션 모니터링, 사기 탐지, 광고 기술, 게임 및 IoT와 같은 다양한 애플리케이션을 위해 웹 사이트, 모바일 디바이스, 서버, 센서 등의 로그 데이터를 분석할 수 있도록 지원하는 일반적인 빅 데이터 사용 사례입니다. 이 프로젝트에서는 Amazon Web Services를 사용하여 배치 데이터와 스트리밍 데이터 모두를 수집, 집계, 처리 및 로드하고 처리된 데이터를 최종 사용자가 기존에 사용하고 있는 분석 시스템에 거의 실시간으로 제공하는 엔드 투 엔드 로그 분석 솔루션을 구축합니다. 이 솔루션은 매우 안정적이고, 비용 효율적이며, 데이터 볼륨에 따라 자동으로 확장되고 IT 관리 작업이 거의 필요하지 않습니다.
수행 항목:
데이터 소스에 Kinesis 에이전트를 설정하여 데이터를 수집하고 이를 Amazon Kinesis Data Firehose로 지속적으로 전송합니다.
Kinesis Data Firehose를 사용하여 엔드 투 엔드 데이터 전달 스트림을 생성합니다. 전달 스트림은 데이터를 에이전트에서 대상으로 전송합니다. 대상은 Amazon Kinesis Data Analytics, Amazon Elasticsearch Service, Amazon S3 등이 될 수 있습니다.
Amazon Kinesis Data Analytics에서 SQL 쿼리를 사용하여 수신되는 로그 데이터를 처리합니다.
Kinesis Data Analytics에서 Amazon Elasticsearch Service로 처리된 데이터를 로드하여 데이터를 인덱싱합니다.
Kibana를 사용하여 처리된 데이터를 분석 및 시각화합니다.
시작하기 전에 필요한 조건:
AWS 계정: 웹 사이트를 호스팅하기 위해 리소스 프로비저닝을 시작하려면 AWS 계정이 필요합니다. AWS에 가입하십시오.
IT 경험: 이 프로젝트를 성공적으로 완료하려면 웹 기술에 대한 기본적인 이해와 SQL에 대한 지식이 필요합니다.
AWS 경험: 이 프로젝트를 성공적으로 완료하는 데 AWS 관련 경험은 필요하지 않습니다.
요금 추정:
프로젝트 완료 비용: 이 프로젝트를 완료하는 데 0.57 USD의 비용이 들 것으로 예상됩니다. 이는 AWS 프리 티어 범위 내에서 사용하고, 권장 구성을 따르며, 프로젝트가 완료된 후 모든 리소스를 완료 후 1시간 이내에 종료한다고 가정할 때의 비용입니다. 고객의 사용 사례에 따라 다른 구성이 필요할 수 있으며 이는 청구서에 영향을 미칠 수 있습니다. 요금 계산기를 사용하면 요구 사항에 맞춰 비용을 추정할 수 있습니다.
월별 예상 요금: Amazon Redshift 데이터 웨어하우스를 구축하는 데 드는 총 비용은 사용량과 구성 설정에 따라 달라집니다. 본 안내서에서 권장하는 기본 구성을 사용하는 경우 일반적으로 월 382.45 USD의 비용이 듭니다. 사용 서비스 및 관련 비용의 내역은 사용 서비스 및 비용을 참조하세요.
Amazon Web Services(AWS) 기반 스트리밍 데이터 솔루션에 대해 자세히 알아보십시오.
Amazon Kinesis에 대한 자세한 내용은 개발자 안내서와 API 레퍼런스를 참조하십시오.
AWS를 시작하는 데 추가 리소스가 필요하십니까? 자세히 알아보려면 시작하기 리소스 센터를 방문하십시오.