Como soluciono espaço de armazenamento insuficiente em meu domínio do Amazon OpenSearch Service?

Data da última atualização: 30/07/2021

Seu domínio do OpenSearch Service tem certos requisitos de espaço de armazenamento para processar workloads. O erro ClusterBlockException pode ocorrer porque o domínio do OpenSearch Service esgotou o espaço de armazenamento. Por exemplo, quando você aloca armazenamento para um nó de cluster, até 20% desse espaço (20 GB) é espaço reservado. Além disso, sistemas operacionais como o Linux reservam 5% do sistema de arquivos para suportar quaisquer processos críticos executados pelo usuário root. Para obter mais informações sobre os requisitos de espaço de armazenamento do Amazon OpenSearch Service, consulte Calcular requisitos de armazenamento.

Para resolver problemas de pouco espaço de armazenamento, tente o seguinte:

• Aumente o tamanho dos volumes do Amazon Elastic Block Store (Amazon EBS) do domínio. Você também pode adicionar mais nós de cluster ao domínio do OpenSearch Service.
• Atualize sua estratégia de fragmentação de cluster para que os fragmentos sejam distribuídos uniformemente por todos os nós.
• Reduza a quantidade de dados armazenados em seu domínio. Você pode excluir arquivos desnecessários, otimizar índices antigos ou reduzir a contagem de réplicas do domínio. Não se esqueça de tirar um snapshot manual antes.
  Observação: reduzir a contagem de réplicas do domínio pode reduzir a tolerância a falhas. É uma prática recomendada configurar pelo menos uma réplica para cada índice.
• Use a métrica FreeStorageSpace do Amazon CloudWatch para monitorar a quantidade de armazenamento disponível no cluster. Para receber notificações sempre que o espaço de armazenamento estiver baixo, configure os alarmes do CloudWatch.

Dependendo da fonte de armazenamento de dados, talvez seja necessário incorporar técnicas adicionais de solução de problemas.

Importante: antes de atualizar as configurações, verifique as alterações de configuração que podem acionar uma implantação azul/verde. Além disso, verifique se o tipo de nó principal dedicado é o tipo de nó recomendado.

Use o comando cat allocation para conferir quanto espaço de armazenamento está disponível para cada nó no cluster:

curl -XGET "es_endpoint/_cat/allocation?v"

Para atualizar as configurações de domínio do OpenSearch Service, execute as seguintes etapas:

1.    Faça login no Console de Gerenciamento da AWS.

2.    Abra o console do OpenSearch Service.

3.    Escolha o domínio do OpenSearch Service ao qual você deseja adicionar armazenamento.

4.    Escolha Edit Domain (Editar domínio).

5.    Atualize as configurações do domínio.

Observação: se o volume do Amazon EBS estiver sendo usado para armazenamento, atualize as definições de Configuração de armazenamento. Ou é possível atualizar o número de nós de dados.

6.    Escolha Submit (Enviar).

Se o domínio usar volumes do EBS para armazenamento, considere as seguintes abordagens:

• Aumente o tamanho dos volumes do EBS. O tamanho máximo do volume depende do tipo de instância do Amazon Elastic Compute Cloud (Amazon EC2) do nó ou do tipo de versão do ElasticSearch. Por exemplo, 512 GiB é o tamanho máximo do volume para o ElasticSearch versão 1.5.
• Se você não conseguir aumentar o tamanho dos volumes do EBS, adicione outros nós ou aumente verticalmente a escala de seu domínio e escolha um novo limite do EBS. Para obter mais informações sobre volumes do EBS, consulte Limites de quotas de volumes do EBS.
• Crie um backup de índices indesejados para o bucket do Amazon Simple Storage Service (Amazon S3). Em seguida, exclua os índices do cluster do OpenSearch Service para liberar espaço em disco. Ou é possível usar o Curator para alternar dados no OpenSearch Service. Também é possível usar o Index State Management (ISM) para alternar índices no OpenSearch Service.
  Observação: é necessário ter um repositório de snapshots manuais configurado para criar backups.

Se instâncias I3 do Amazon EC2 estiverem sendo usadas para armazenamento de dados, considere os seguintes métodos:

• Adicione mais nós ao cluster do OpenSearch Service.
• Aumente na vertical a escala do tipo de instância para obter mais espaço de armazenamento.
• Exclua quaisquer índices indesejados do cluster do OpenSearch Service.