Análise escalável usando o Apache Druid na AWS

• Grupo de ajuste de escala automático de consulta do Druid: um grupo de ajuste de escala automático contém uma coleção de servidores de consulta do Druid. Um servidor de consultas fornece os endpoints com os quais os usuários e os aplicativos clientes interagem, roteando consultas para servidores de dados ou outros servidores de consulta. Em um servidor de consulta, a funcionalidade é dividida entre dois processos: o “Broker” e o “Router”.

• Grupo de ajuste de escala automático do ZooKeeper: um grupo de ajuste de escala automático contém uma coleção de servidores do ZooKeeper. O Apache Druid usa o Apache ZooKeeper (ZK) para gerenciar o estado atual do cluster.
  

Etapa 5
Um bucket do Amazon Simple Storage Service (S3) fornece armazenamento profundo para o cluster Apache Druid. Armazenamento profundo é o local onde os segmentos são armazenados.

Etapa 6
O AWS Secrets Manager armazena os segredos usados pelo Apache Druid, incluindo o segredo do Amazon Relational Database Service (RDS) e o segredo do usuário administrador. Ele também armazena as credenciais da conta do sistema que os componentes do Druid usam para se autenticarem uns com os outros.

Etapa 7
O Amazon CloudWatch oferece suporte a logs, métricas e painéis.

Etapa 8
Um banco de dados do Amazon Aurora PostgreSQL fornece o armazenamento de metadados para o cluster Apache Druid. O Druid usa o armazenamento de metadados para armazenar somente metadados sobre o sistema e não armazena os dados reais.

Etapa 9
O sistema de notificação, baseado no Amazon Simple Notification Service (Amazon SNS), envia alertas ou alarmes imediatamente quando ocorrem eventos do sistema. Isso garante conscientização e ação imediatas quando necessário.

Etapa 1
O AWS WAF para proteger o console web do Druid e os endpoints da API do Druid contra exploits e bots comuns da web que podem afetar a disponibilidade, comprometer a segurança ou consumir recursos excessivos. O AWS WAF é provisionado e implantado somente para clusters voltados para a Internet.

Etapa 2
Um servidor Linux com segurança reforçada (bastion host) para gerenciar o acesso aos servidores Druid em execução em uma rede privada separada de uma rede externa. Ele também pode ser usado para acessar o console web do Druid por meio do tunelamento SSH, no qual um Application Load Balancer (ALB) privado é implantado.

Etapa 3
Um ALB serve como ponto único de contato para os clientes. O balanceador de carga distribui o tráfego de entrada do aplicativo em vários servidores de consulta em várias zonas de disponibilidade.

Etapa 4
A sub-rede privada consiste no seguinte:

• Grupo mestre de ajuste de escala automático do Druid: um grupo de ajuste de escala automático contém uma série de servidores mestre Druid. Um servidor mestre gerencia a ingestão e a disponibilidade de dados e é responsável por iniciar novas tarefas de ingestão e coordenar a disponibilidade dos dados nos “Servidores de dados”. Em um servidor mestre, a funcionalidade é dividida entre dois processos: o “Coordinator” e o “Overlord”.

• Grupo de ajuste de escala automático de dados do Druid: um grupo de ajuste de escala automático contém uma coleção de servidores de dados do Druid. Um servidor de dados executa tarefas de ingestão e armazena dados que podem ser consultados. Em um servidor de dados, a funcionalidade é dividida entre dois processos: o “Historical” e o “MiddleManager”.

• Grupo de ajuste de escala automático de consulta do Druid: um grupo de ajuste de escala automático contém uma coleção de servidores de consulta do Druid. Um servidor de consultas fornece os endpoints com os quais os usuários e os aplicativos clientes interagem, roteando consultas para servidores de dados ou outros servidores de consulta. Em um servidor de consulta, a funcionalidade é dividida entre dois processos: o “Broker” e o “Router”.