In che modo posso riequilibrare la distribuzione di una partizione non uniforme nel mio cluster Amazon OpenSearch Service?

Ultimo aggiornamento: 23-09-2021

Lo spazio su disco nel dominio Amazon OpenSearch Service (successore di Amazon Elasticsearch Service) è distribuito in modo non uniforme tra i nodi. Di conseguenza, l'utilizzo del disco è fortemente distorto. Come faccio a ribilanciare la distribuzione del nodo?

Breve descrizione

L'utilizzo del disco può essere fortemente distorto a causa dei seguenti motivi:

Per riequilibrare l'allocazione delle partizioni nel cluster OpenSearch Service, considera i seguenti approcci:

  • Controlla l'allocazione delle partizioni, le dimensioni delle partizioni e la strategia di partizione dell'indice.
  • Assicurati che i frammenti abbiano la stessa dimensione in tutti gli indici.
  • Mantieni dimensioni condivise tra 10 GB e 50 GB per prestazioni migliori.
  • Aggiungi altri nodi di dati al cluster di OpenSearch Service.
  • Aggiorna la tua strategia di partizione.
  • Elimina gli indici vecchi o inutilizzati per liberare spazio su disco.

Risoluzione

Controlla l'allocazione delle partizioni, le dimensioni delle partizioni e la strategia di partizione dell'indice

Per verificare il numero di partizioni allocate a ciascun nodo e la quantità di spazio su disco utilizzato su ciascun nodo, utilizzare la seguente API:

$ curl -XGET ES_Endpoint/_cat/allocation?v

Per controllare i frammenti allocati a ciascun nodo e la dimensione di ogni partizione, utilizzare la seguente API:

$ curl -XGET ES_Endpoint/_cat/shards?v

Nota: questa API mostra che la dimensione dei frammenti può variare a seconda dei diversi indici.

La strategia di partizione non uniforme per gli indici può causare l'inclinabilità dei dati, in cui i frammenti di indici più grandi risiedono solo su pochi nodi. Controlla la strategia di partizione per gli indici utilizzando la seguente API:

$ curl -XGET ES_Endpoint/_cat/indices?v

Assicurati che i frammenti abbiano la stessa dimensione in tutti gli indici

Se la dimensione dell'indice varia in modo significativo, utilizzare l'API dell'indice di rollover per creare un nuovo indice quando vengono raggiunte determinate dimensioni dell'indice. In alternativa, puoi utilizzare Index State Management (ISM) per creare un nuovo indice per OpenSearch Service versioni 7.1 e successive. Per ulteriori informazioni sul rollover di un alias utilizzando ISM, vedererollover sul sito Web di Open Distro.

Mantieni le dimensioni delle partizioni comprese tra 10 GB e 50 GB per prestazioni migliori

Se disponi di una classe di istanze di grandi dimensioni, utilizza la scala Petabyte per Amazon OpenSearch Service per determinare le dimensioni delle partizioni. Ad esempio, un dominio OpenSearch Service con diverse istanze i3.16xlarge.search può supportare dimensioni delle partizioni fino a 100 GB perché sono disponibili più risorse. Per ulteriori informazioni sulla strategia di partizione, consulta Scelta del numero delle partizioni.

Aggiungi altri nodi di dati al cluster OpenSearch Service

Se il cluster di OpenSearch Service ha raggiunto livelli elevati di utilizzo del disco, aggiungere altri nodi di dati al cluster. L'aggiunta di nodi di dati aggiunge inoltre ulteriori risorse per migliorare le prestazioni del cluster.

Nota: OpenSearch Service non riequilibra automaticamente il cluster in caso di mancanza di spazio di archiviazione disponibile. Di conseguenza, se un nodo dati esaurisce lo spazio di archiviazione libero, il cluster blocca qualsiasi scrittura. Per ulteriori informazioni sulla gestione dello spazio su disco, consulta Come aggiungo spazio di archiviazione a un dominio Amazon OpenSearch Service?

Aggiorna la tua strategia di partizione

Per impostazione predefinita, OpenSearch Service ha una strategia di partizione di 5:1, in cui ogni indice è diviso in cinque partizioni primarie. All'interno di ogni indice, ogni partizione primaria ha anche la propria replica. OpenSearch Service assegna automaticamente le partizioni primarie e le partizioni di replica a nodi di dati separati, assicurandosi che ci sia un backup in caso di errore.

Per modificare il comportamento predefinito di OpenSearch Service, progetta i tuoi indici in modo che le partizioni siano distribuite equamente per dimensione:

  • Per gli indici esistenti, utilizza l'API di reindicizzazione per modificare il numero di partizioni primarie. L'API _reindex può essere utilizzata per unire indici più piccoli in un indice più grande, oppure può essere utilizzata per dividere l'indice più grande. Quando l'indice più grande viene suddiviso in più partizioni primarie, le dimensioni della partizione diminuiscono.
  • Per i nuovi indici, utilizzare l'API del modello per definire il numero di partizioni primarie e di replica.

Quindi, aggiorna le impostazioni degli indici per le tue partizioni. Per ulteriori informazioni, consulta Aggiornare le impostazioni degli indici sul sito Web di Elasticsearch.

Elimina gli indici vecchi o inutilizzati per liberare spazio su disco

OpenSearch Service versioni 7.1 e successive supportano Index State Management. Con ISM, è possibile definire criteri di gestione personalizzati in modo che gli indici vecchi o inutilizzati vengano eliminati dopo una durata stabilita.


Questo articolo è stato utile?


Hai bisogno di supporto tecnico o per la fatturazione?