Apache Druid on AWS를 사용한 확장 가능한 분석 솔루션

• Druid 쿼리 오토 스케일링: 오토 스케일링 그룹에 Druid 쿼리 서버 컬렉션이 포함됩니다. 쿼리 서버는 쿼리를 데이터 서버 또는 다른 쿼리 서버로 라우팅하면서 사용자와 클라이언트 애플리케이션이 상호 작용하는 엔드포인트를 제공합니다. 쿼리 서버 내에서 기능은 Broker와 Router라는 두 프로세스로 분할됩니다.

• ZooKeeper 오토 스케일링: 오토 스케일링에 ZooKeeper 서버 컬렉션이 포함됩니다. Apache Druid는 Apache ZooKeeper(ZK)를 사용하여 현재 클러스터 상태를 관리합니다.
  

5단계
Amazon Simple Storage Service(S3) 버킷은 Apache Druid 클러스터를 위한 딥 스토리지를 제공합니다. 딥 스토리지는 세그먼트가 저장되는 위치입니다.

6단계
AWS Secrets Manager는 Amazon Relational Database Service(RDS) 암호와 관리자 암호를 비롯하여 Apache Druid에 사용되는 암호를 저장합니다. 또한 Druid 구성 요소가 서로 인증하는 데 사용하는 시스템 계정의 보안 인증 정보도 저장합니다.

7단계
Amazon CloudWatch는 로그, 지표 및 대시보드를 지원합니다.

8단계
Amazon Aurora PostgreSQL 데이터베이스는 Apache Druid 클러스터의 메타데이터 스토리지를 제공합니다. Druid는 이 메타데이터 스토어를 사용하여 시스템에 대한 메타데이터만 보관하고 실제 데이터는 저장하지 않습니다.

9단계
Amazon Simple Notification Service(SNS) 기반의 알림 시스템은 시스템 이벤트 발생 시 즉시 알림 또는 경보를 전송합니다. 따라서 문제가 발생하면 바로 인식하고 필요한 조치를 취할 수 있습니다.

1단계
AWS WAF는 가용성에 영향을 미치거나 보안을 침해하거나 과도한 리소스를 소비할 수 있는 일반적인 웹 익스플로잇 및 봇으로부터 Druid 웹 콘솔과 Druid API 엔드포인트를 보호합니다. AWS WAF는 인터넷에 연결된 클러스터에 대해서만 프로비저닝되고 배포됩니다.

2단계
보안이 강화된 Linux 서버(Bastion Host)를 통해 외부 네트워크와 분리된 프라이빗 네트워크에서 실행되는 Druid 서버에 대한 액세스를 관리합니다. 이 서버는 SSH 터널링을 통해 프라이빗 Application Load Balancer(ALB)가 배포되는 Druid 웹 콘솔에 액세스하는 데에도 사용할 수 있습니다.

3단계
ALB는 고객을 위한 단일 연락 창구 역할을 합니다. 로드 밸런서는 들어오는 애플리케이션 트래픽을 여러 가용 영역의 여러 쿼리 서버로 분산합니다.

4단계
프라이빗 서브넷은 다음과 같이 구성됩니다.

• Druid 마스터 오토 스케일링: 오토 스케일링에 Druid 마스터 서버 컬렉션이 포함됩니다. 마스터 서버는 데이터 모으기 및 가용성을 관리하고 새 모으기 작업을 시작하며 ‘데이터 서버’의 데이터의 가용성을 조정합니다. 마스터 서버 내에서 기능은 Coordinator와 Overlord라는 두 프로세스로 분할됩니다.

• Druid 데이터 오토 스케일링: 오토 스케일링에 Druid 데이터 서버 컬렉션이 포함됩니다. 데이터 서버는 모으기 작업을 실행하고 쿼리 가능한 데이터를 저장합니다. 데이터 서버 내에서 기능은 Historical과 MiddleManager라는 두 프로세스로 분할됩니다.

• Druid 쿼리 오토 스케일링: 오토 스케일링 그룹에 Druid 쿼리 서버 컬렉션이 포함됩니다. 쿼리 서버는 쿼리를 데이터 서버 또는 다른 쿼리 서버로 라우팅하면서 사용자와 클라이언트 애플리케이션이 상호 작용하는 엔드포인트를 제공합니다. 쿼리 서버 내에서 기능은 Broker와 Router라는 두 프로세스로 분할됩니다.