Analisi scalabili con Apache Druid su AWS

• Gruppo con dimensionamento automatico di query Druid: un gruppo con dimensionamento automatico contiene una raccolta di server di query Druid. Un server di query fornisce gli endpoint con cui gli utenti e le applicazioni client interagiscono, indirizzando le query ai server di dati o ad altri server di query. All'interno di un server di query, la funzionalità è suddivisa tra due processi: Broker e Router.

• Gruppo con dimensionamento automatico di server ZooKeeper: un gruppo con dimensionamento automatico contiene una raccolta di server ZooKeeper. Apache Druid utilizza Apache ZooKeeper (ZK) per la gestione dello stato corrente del cluster.
  

Fase 5
Un bucket Amazon Simple Storage Service (S3) fornisce un'archiviazione profonda per il cluster Apache Druid. L'archiviazione profonda è la posizione in cui vengono archiviati i segmenti.

Fase 6
AWS Secrets Manager archivia i segreti utilizzati da Apache Druid, tra cui il segreto Amazon Relational Database Service (RDS) e il segreto dell'utente amministratore. Archivia inoltre le credenziali per l'account di sistema che i componenti Druid utilizzano per autenticarsi tra loro.

Fase 7
Amazon CloudWatch supporta log, metriche e dashboard.

Fase 8
Un database Amazon Aurora PostgreSQL fornisce l'archiviazione dei metadati per il cluster Apache Druid. Druid utilizza l'archivio dei metadati per ospitare solo i metadati sul sistema e non memorizza i dati effettivi.

Fase 9
Il sistema di notifica, basato su Amazon Simple Notification Service (Amazon SNS), fornisce avvisi o allarmi tempestivamente quando si verificano eventi di sistema. In questo modo si garantisce una consapevolezza e un'azione immediata in caso di necessità.

Fase 1
Web Application Firewall AWS (AWS WAF) per proteggere la console web di Druid e gli endpoint API di Druid dagli exploit web e dai bot più comuni che possono compromettere la disponibilità, la sicurezza o consumare risorse eccessive. AWS WAF viene fornito e implementato solo per cluster connessi a Internet.

Fase 2
Un server Linux con protezione avanzata (host bastione) per gestire l'accesso ai server Druid in esecuzione in una rete privata separata da una rete esterna. Può anche essere usato per accedere alla console web di Druid tramite il tunneling SSH in cui viene implementato unApplication Load Balancer (ALB) privato.

Fase 3
Un ALB funge da unico punto di contatto per i client. Il sistema di bilanciamento del carico distribuisce il traffico delle applicazioni in entrata su più server di query in più zone di disponibilità.

Fase 4
La sottorete privata è costituita da quanto segue:

• Gruppo con dimensionamento automatico di master Druid: un gruppo con dimensionamento automatico contiene una raccolta di server master Druid. Un server master gestisce l'importazione e la disponibilità dei dati ed è responsabile dell'avvio di nuovi processi di importazione e del coordinamento della disponibilità dei dati sui "server di dati". All'interno di un server master, la funzionalità è suddivisa tra due processi: Coordinator e Overlord.

• Gruppo con dimensionamento automatico di dati Druid: un gruppo con dimensionamento automatico contiene una raccolta di server di dati Druid. Un server di dati esegue processi di importazione e archivia i dati interrogabili. All'interno di un server di dati, la funzionalità è suddivisa tra due processi: Historical e MiddleManager.

• Gruppo con dimensionamento automatico di query Druid: un gruppo con dimensionamento automatico contiene una raccolta di server di query Druid. Un server di query fornisce gli endpoint con cui gli utenti e le applicazioni client interagiscono, indirizzando le query ai server di dati o ad altri server di query. All'interno di un server di query, la funzionalità è suddivisa tra due processi: Broker e Router.