Comment résoudre un problème d'espace de stockage insuffisant dans mon domaine OpenSearch Service ?

Lecture de 6 minute(s)

Mon domaine Amazon OpenSearch Service n'a plus d'espace de stockage et j'ai reçu un message d'erreur.

Brève description

Votre domaine OpenSearch Service nécessite de l'espace de stockage pour le traitement des charges de travail. L'erreur ClusterBlockException peut se produire car votre domaine OpenSearch Service est à court d'espace de stockage. Par exemple, lorsque vous allouez du stockage à un nœud de cluster, jusqu'à 20 % de cet espace (20 Go) est réservé. De plus, les systèmes d'exploitation tels que Linux réservent 5 % du système de fichiers pour prendre en charge tous les processus critiques exécutés par l'utilisateur root. Pour plus d'informations sur les besoins en espace de stockage d'OpenSearch Service, consultez la section Calcul des besoins en stockage.

Pour résoudre les problèmes d'espace de stockage insuffisant, procédez comme suit :

Mettez à jour votre stratégie de partition de cluster afin que les partitions soient réparties de manière uniforme sur tous les nœuds.
Augmentez la taille des volumes Amazon Elastic Block Store (Amazon EBS) du domaine. Vous pouvez également ajouter d'autres nœuds de cluster au domaine OpenSearch Service.
Réduisez la quantité de données stockées dans votre domaine. Vous pouvez supprimer les fichiers inutiles, optimiser les anciens index ou réduire le nombre de répliques du domaine. Assurez-vous d'abord de faire une capture manuelle.
**Remarque :**La réduction du nombre de répliques du domaine peut réduire la tolérance aux pannes. Il est recommandé de configurer au moins une réplique pour chaque index.
Utilisez Index State Management (ISM) pour gérer un espace de stockage restreint.
Utilisez les métriques Amazon CloudWatch pour surveiller la quantité de stockage disponible dans votre cluster.

Résolution

Mettre à jour vos paramètres de configuration de stockage

**Important :**Avant de mettre à jour vos paramètres de configuration, vérifiez lesmodifications de configuration susceptibles de lancer un déploiement bleu/vert. Assurez-vous également que votre type de nœud principal dédié est le type de nœud recommandé.

Utilisez la commande cat allocation (depuis le site Web Elastic) pour vérifier la quantité d'espace de stockage disponible pour chaque nœud de votre cluster :

curl -XGET "es_endpoint/_cat/allocation?v"

Pour mettre à jour les paramètres de configuration de votre domaine OpenSearch Service, procédez comme suit :

1. Ouvrez la console OpenSearch Service.

2. Dans le volet de navigation, sous Clusters gérés, choisissez Domaines.

3. Choisissez le domaine auquel vous souhaitez ajouter du stockage.

4. Mettez à jour les paramètres de votre domaine.

**Remarque :**Si vous utilisez un volume Amazon EBS pour le stockage, mettez à jour vos paramètres de configuration de stockage. Vous pouvez également mettre à jour le nombre de nœuds de données.

5. Choisissez Soumettre.

Si votre domaine utilise des volumes EBS pour le stockage de données

Si le domaine utilise des volumes EBS pour le stockage, effectuez l'une des actions suivantes :

Augmentez la taille des volumes EBS. La taille maximale du volume dépend du type d'instance du nœud ou du type de version d'Elasticsearch. Par exemple, 512 Go est la taille de volume maximale pour Elasticsearch version 1.5.
Si vous ne pouvez pas augmenter la taille des volumes EBS, ajoutez des nœuds ou augmentez votre domaine et choisissez une nouvelle limite EBS. Pour plus d'informations sur les volumes EBS, consultez la section Quotas de taille des volumes EBS.
Créez une sauvegarde des index indésirables dans votre compartiment Amazon Simple Storage Service (Amazon S3). Supprimez ensuite les index de votre cluster OpenSearch Service pour libérer de l'espace disque. Vous pouvez également utiliser Curator pour faire pivoter les données dans OpenSearch Service (à partir du site Web Python Package Index). Vous pouvez également utiliser ISM pour faire pivoter les index dans OpenSearch Service.
**Remarque :**Vous devez disposer d'un référentiel de captures manuelles configuré pour créer des sauvegardes.

Si votre domaine utilise des instances I3 Amazon Elastic Compute Cloud (Amazon EC2) pour le stockage de données

Si vous utilisez des instances Amazon EC2 I3 pour le stockage de données, effectuez l'une des actions suivantes :

Ajoutez d'autres nœuds à votre cluster OpenSearch Service.
Augmentez le type d'instance pour obtenir plus d'espace de stockage.
Supprimez tous les index indésirables de votre cluster OpenSearch Service.

Supprimer les index inutilisés ou anciens

Vous pouvez vérifier la date de création des index à l'aide de la commande suivante :

GET _cat/indices?h=h,s,i,id,p,r,dc,dd,ss,creation.date.string&s=creation.date.string:desc

Pour supprimer des index uniques, exécutez la commande suivante :

DELETE <index-name>

Pour supprimer plusieurs index, exécutez la commande suivante :

DELETE cwl-index-*

Utiliser ISM pour gérer un espace de stockage restreint

La gestion d'états d’index (ISM) vous permet d'automatiser les tâches de routine, puis de les appliquer aux index et aux modèles d'index dans OpenSearch Service. Avec l’ISM, vous pouvez définir des politiques de gestion personnalisées qui vous aident à gérer des problèmes tels que le faible espace disque. Par exemple, vous pouvez utiliser une opération de roulement et une politique ISM pour automatiser la suppression d'anciens index en fonction de conditions telles que la taille de l'index. L'opération de roulement permet de déplacer une cible vers un nouvel index lorsqu'un index existant remplit la condition définie.

L'exemple de politique ISM suivant supprime les index après 50 minutes :

PUT _plugins/_ism/policies/delete_ism_policy
{
    "policy": {
        "policy_id": "delete_ism_policy",
        "description": "A simple default policy that deletes old unused indices“,
        "last_updated_time": 1658834661281,
        "schema_version": 13,
        "error_notification": null,
        "default_state": "example_hot_state",        #Default state
        "states": [
            {
                "name": "example_hot_state",
                "actions": [],
                "transitions": [
                    {
                        "state_name": "delete",
                        "conditions": {
                            "min_index_age": “50m”   #Note that after 50 minutes index will transit from hot_state to delete state
                        }
                    }
                ]
            },
            {
                "name": "delete",                    #Indices moved to delete state
                "actions": [
                    {
                        "delete": {}
                    }
                ],
                "transitions": []
            }
        ],
        "ism_template": [
            {
                "index_patterns": [                  #This ISM policy attaches to all indices for the index pattern and you can mention your index pattern here
                    "sample*"
                ],
                "priority": 100,                     #Priority can be set from 0 to 100
                "last_updated_time": 1658834436349
            }
        ]
    }
}

Utilisez l'appel d'API suivant pour associer manuellement la politique ISM à l'index :

POST _plugins/_ism/add/your-index-*
{
     "policy_id": "<policy_id>"
}

Pour plus d'informations, consultez Comment utiliser ISM pour gérer un espace de stockage restreint dans Amazon OpenSearch Service ?

Utilisez les alarmes CloudWatch pour surveiller le stockage

Vous pouvez utiliser la métrique CloudWatch FreeStorageSpace pour surveiller la quantité de stockage disponible dans votre cluster. Pour recevoir des notifications lorsque l'espace de stockage est insuffisant, configurez vos alarmes CloudWatch.

Pour plus d'informations, consultez la section Surveillance des métriques de cluster OpenSearch avec Amazon CloudWatch.