Comment résoudre les problèmes d'espace de stockage insuffisant dans mon domaine Amazon Elasticsearch Service ?

Date de la dernière mise à jour : 23/12/2020

Mon domaine Amazon Elasticsearch Service (Amazon ES) n'a plus d'espace de stockage et j'ai reçu une erreur. Comment résoudre ce problème ?

Brève description

Votre domaine Amazon ES a certaines exigences en matière d'espace de stockage pour le traitement des charges de travail. L'erreur ClusterBlockException peut se produire car votre domaine Amazon ES a manqué d'espace de stockage. Par exemple, lorsque vous allouez du stockage à un nœud de cluster Amazon ES, jusqu'à 20 % de cet espace (20 Go) est de l'espace réservé. En outre, les systèmes d'exploitation tels que Linux réservent 5 % du système de fichiers pour prendre en charge tous les processus critiques exécutés par l'utilisateur racine. Pour plus d'informations sur les exigences d'espace de stockage Amazon ES, consultez Calcul des besoins de stockage.

Pour résoudre les problèmes liés au faible espace de stockage, essayez ce qui suit :

  • Augmentez la taille des volumes Amazon Elastic Block Store (Amazon EBS) du domaine. Vous pouvez également ajouter d'autres nœuds de cluster au domaine Amazon ES.
  • Mettez à jour votre stratégie de partitionnement de cluster afin que les fragments soient uniformément répartis sur tous les nœuds.
  • Réduisez la quantité de données stockées dans votre domaine. Vous pouvez supprimer des fichiers inutiles, optimiser les anciens index ou réduire le nombre de réplicas du domaine. Veillez à créer un instantané manuel d'abord.
    Remarque : la réduction du nombre de réplicas du domaine peut réduire la tolérance aux pannes. Une bonne pratique consiste à configurer au moins un réplica pour chaque index.
  • Utilisez la métrique Amazon CloudWatch FreeStorageSpace pour surveiller la quantité de stockage disponible dans votre cluster. Pour recevoir des notifications lorsque l'espace de stockage est faible, configurez des alarmes CloudWatch.

En fonction de votre source de stockage de données, vous devrez peut-être intégrer des techniques de dépannage supplémentaires.

Résolution

Mettre à jour vos paramètres de configuration de stockage

Important : Avant de mettre à jour vos paramètres de configuration, vérifiez les modifications de configuration qui pourraient déclencher un déploiement bleu/vert. Assurez-vous également que votre type de nœud principal dédié est le type de nœud recommandé.

Utilisez la commande cat allocation pour vérifier la quantité d'espace de stockage disponible pour chaque nœud de votre cluster :

curl ES_Endpoint/_cat/allocation?v

Pour mettre à jour les paramètres de configuration de votre domaine Amazon ES, procédez comme suit :

1.    Connectez-vous à votre AWS Management Console.

2.    Ouvrez la console Amazon ES.

3.    Choisissez le domaine Amazon ES auquel vous souhaitez ajouter du stockage.

4.    Choisissez Edit Domain (Modifier le domaine).

5.    Mettez à jour les paramètres du domaine.

Remarque : si vous utilisez un volume Amazon EBS pour le stockage, mettez à jour vos paramètres de configuration de stockage. Ou vous pouvez mettre à jour le nombre de nœuds de données.

6.    Choisissez Submit (Soumettre).

Si votre domaine utilise des volumes Amazon EBS pour le stockage de données

Si le domaine utilise des volumes Amazon EBS pour le stockage, envisagez les approches suivantes :

Si votre domaine utilise des instances I3 Amazon Elastic Compute Cloud (Amazon EC2) pour le stockage de données

Si vous utilisez des instances Amazon EC2 I3 pour le stockage de données, envisagez les approches suivantes :

  • Ajoutez plus de nœuds à votre cluster Elasticsearch.
  • Augmentez le type d'instance pour obtenir plus d'espace de stockage.
  • Supprimez tous les index indésirables de votre cluster Elasticsearch.