Comment puis-je résoudre les problèmes d'insuffisance d'espace de stockage dans mon domaine Amazon OpenSearch Service ?

Date de la dernière mise à jour : 30/07/2021

Votre domaine OpenSearch Service a des exigences spécifiques en espace de stockage pour le traitement des applications. L'erreur ClusterBlockException peut se produire, lorsque votre domaine OpenSearch Service est à court d'espace de stockage. Par exemple, lorsque vous allouez de l'espace de stockage à un nœud de cluster, jusqu'à 20 % de cet espace (20 Go) est un espace réservé. En outre, les systèmes d'exploitation tels que Linux réservent 5 % du système de fichiers à la prise en charge de tous les processus critiques exécutés par l'utilisateur racine. Pour plus d'informations sur les exigences en espace de stockage Amazon OpenSearch Service, veuillez consulter Calcul des exigences de stockage.

Pour résoudre les problèmes d'insuffisance de l'espace de stockage, procédez comme suit :

• Augmentez la taille des volumes Amazon Elastic Block Store (Amazon EBS) du domaine. Vous pouvez également ajouter d'autres nœuds de cluster au domaine OpenSearch Service.
• Mettez à niveau votre stratégie de partitionnement de cluster afin que les partitions soient uniformément réparties sur tous les nœuds.
• Réduisez la quantité de données stockées dans votre domaine. Vous pouvez supprimer des fichiers inutiles, optimiser les anciens index ou réduire le nombre de réplicas du domaine. Veillez à prendre d'abord un instantané manuel.
  Remarque : la réduction du nombre de réplicas du domaine peut réduire la tolérance aux pannes. La configuration d'au moins un réplica pour chaque index constitue une bonne pratique.
• Utilisez la métrique Amazon CloudWatch FreeStorageSpace pour surveiller la quantité de stockage disponible dans votre cluster. Pour recevoir des notifications lorsque l'espace de stockage est trop faible, configurez vos alarmes CloudWatch.

En fonction de votre source de stockage de données, vous devrez peut-être intégrer des techniques de dépannage supplémentaires.

Important : avant de mettre à jour vos paramètres de configuration, vérifiez les modifications de configuration qui pourraient déclencher un déploiement bleu/vert. Assurez-vous également que votre type de nœud principal dédié est le type de nœud recommandé.

Utilisez la commande cat allocation pour vérifier la quantité d'espace de stockage disponible pour chaque nœud de votre cluster :

curl -XGET "es_endpoint/_cat/allocation?v"

Pour mettre à jour les paramètres de configuration de votre domaine OpenSearch Service, effectuez les opérations suivantes :

1.    Connectez-vous à votre console de gestion AWS.

2.    Ouvrez la console OpenSearch Service.

3.    Choisissez le domaine OpenSearch Service auquel vous souhaitez ajouter du stockage.

4.    Choisissez Edit Domain (Modifier le domaine).

5.    Mettez à jour les paramètres du domaine.

Remarque : si vous utilisez un volume EBS pour le stockage, mettez à jour vos paramètres de configuration de stockage. Vous pouvez alternativement mettre à jour le nombre de nœuds de données.

6.    Sélectionnez Submit (Envoyer).

Si le domaine utilise des volumes EBS pour le stockage, envisagez les approches suivantes :

• Augmentez la taille des volumes EBS. La taille maximale du volume dépend du type d'instance Amazon Elastic Compute Cloud (Amazon EC2) du nœud ou du type de version d'Elasticsearch. Par exemple, 512 GiB est la taille de volume maximale pour Elasticsearch version 1.5.
• Si vous ne pouvez pas augmenter la taille des volumes EBS, ajoutez des nœuds supplémentaires ou augmentez votre domaine et choisissez une nouvelle limite EBS. Pour plus d'informations sur les volumes EBS, consultez Quotas de taille du volume EBS.
• Créez une sauvegarde des index indésirables dans votre compartiment Amazon Simple Storage Service (Amazon S3). Ensuite, supprimez les index de votre cluster OpenSearch Service pour libérer de l'espace disque. Vous pouvez également utiliser Curator pour effectuer une rotation des données dans OpenSearch Service. Vous pouvez également utiliser Index State Management (ISM) pour effectuer une rotation des index dans OpenSearch Service.
  Remarque : vous devez disposer d'un référentiel d'instantanés manuel configuré pour créer des sauvegardes.

Si vous utilisez des instances I3 Amazon EC2 pour le stockage de données, tenez compte des démarches suivantes :

• Ajoutez d'autres nœuds à votre cluster OpenSearch Service.
• Augmentez le type d'instance pour obtenir plus d'espace de stockage.
• Supprimez tous les index indésirables de votre cluster OpenSearch Service.