Que se passe-t-il lorsque je modifie la configuration de mon cluster Amazon OpenSearch Service ?

Date de la dernière mise à jour : 05/08/2021

J'essaie de limiter les temps d'arrêt lors d'un changement de configuration. Que se passe-t-il si je modifie la configuration de mon cluster Amazon OpenSearch Service (successeur d'Amazon Elasticsearch Service) ?

Résolution

Lorsque vous modifiez la configuration de votre cluster OpenSearch Service, un déploiement bleu/vert peut être déclenché. Lors d'un déploiement bleu/vert, un état de cluster passe à « En cours de traitement » pendant la création d'un nouveau domaine OpenSearch Service. Une fois votre nouveau domaine créé, les événements suivants se produisent :

  • Le nombre total de nœuds est doublé. Ou bien, le nombre total de nœuds est égal au nombre de nœuds dans l'ancien et le nouveau domaine.
  • Le nombre de nœuds est doublé jusqu'à ce que les anciens nœuds de domaine soient résiliés.
  • Si une allocation de partition est enfin en cours, l'état du cluster revient à « Actif ».

Remarque : Pendant le déploiement bleu/vert, vous pouvez observer une certaine latence. Pour éviter tout problème de latence, il est recommandé d'exécuter un déploiement bleu/vert lorsque le cluster est sain et que le trafic réseau est faible.

Durée du changement de configuration

Votre modification de configuration peut prendre plus de temps en fonction de la taille du cluster, de la charge de travail, de la taille de partition et du nombre de partitions. Utilisez la commande cat recovery pour surveiller l'état de votre déplacement de partitions.

Pour voir quelles partitions sont toujours en cours de déplacement, utilisez la syntaxe de commande suivante :

Curl  -X GET "cluster_endpoint/_cat/recovery?v=true&pretty" | awk '/peer/ {print $1" "$2" "$3" "$4" "$18}' | grep -v 100\.0\%

Pour répertorier le déplacement des partitions par pourcentage d'octets, utilisez la syntaxe de commande suivante :

Curl -X GET "https://<end_point>/_cat/recovery?v=true&pretty" | awk '/peer/ {print $1" "$2" "$3" "$4" "$18}' | tr -d "%" | sort -k 5 -n

Remarque : Pour trier les données par pourcentage d'octets (qui se trouve dans la cinquième colonne), vous devez spécifier « 5 » pour -k.

Si vous observez des progrès minimes pour la relocalisation des partitions, il se peut que votre cluster soit bloqué.

Raisons pour lesquelles votre processus de déploiement bleu/vert est bloqué

Votre processus de déploiement bleu/vert peut être bloqué pour les raisons suivantes :

  • État de cluster non sain avant le changement de configuration.
  • Sollicitation de la mémoire JVM constamment élevée. Essayez de maintenir la sollicitation de la mémoire JVM en dessous de 75 % pour éviter les problèmes de mémoire insuffisante (OOM).
  • Utilisation constamment élevée du processeur. Essayez de maintenir votre utilisation du processeurs en dessous de 80 %.
  • Nombre excessif de partitions sur un cluster ou dimensionnement incorrect des partitions. Une bonne pratique consiste à maintenir le nombre de partitions entre 10 GiB et 50 GiB. Pour plus d'informations concernant la stratégie d'indexation, veuillez consulter la rubrique Choix du nombre de partitions.
  • Modification de configuration non valide ou nombre excessif de modifications de configuration simultanées. Assurez-vous de vérifier vos paramètres de configuration et attendez que la première modification de configuration soit terminée pour en envoyer une autre.
  • Capacité ou espace disque insuffisant pour le processus de déplacement ou le type d'instance requis.
  • Absence d'adresses IP disponibles sur le sous-réseau requis pour un cluster dans un cloud privé virtuel (Virtual Private Cloud, VPC).
  • Utilisation de la taille du volume pour le type d'instance. La taille de votre volume doit se situer dans la plage limite.
  • Utilisation de paramètres d'index tels que « index.routing.allocation.require._name » ou « NODE_NAME » ou « index.blocks.write » : true. Ces paramètres indiquent un bloc d'écriture. Veillez à supprimer ces paramètres de vos paramètres d'index avant de continuer.

Pour plus d'informations, consultez Pourquoi mon domaine Amazon OpenSearch Service est-il bloqué dans l'état « En cours de traitement » ?


Cet article vous a-t-il été utile ?


Besoin d'aide pour une question technique ou de facturation ?