¿Cómo reequilibro la distribución desigual de particiones en mi clúster de Amazon OpenSearch Service?

Descripción breve

El uso del disco puede estar muy sesgado debido a los siguientes motivos:

• Tamaños de partición desiguales en un clúster. Aunque OpenSearch Service distribuye uniformemente el número de particiones entre los nodos, los distintos tamaños de partición requieren distintas cantidades de espacio en disco.
• Espacio en disco disponible en un nodo. Para obtener más información, consulte Asignación de particiones basada en disco en el sitio web de Elasticsearch.
• Estrategia de asignación de partición incorrecta. Para obtener más información, consulte Desmitificación de la asignación de particiones de OpenSearch Service.

Para reequilibrar la asignación de particiones en el clúster de OpenSearch Service, tenga en cuenta los siguientes enfoques:

• Compruebe la asignación de particiones, los tamaños de las particiones y la estrategia de partición de índices.
• Asegúrese de que las particiones tengan el mismo tamaño en todos los índices.
• Mantenga los tamaños de particiones entre 10 GB y 50 GB para obtener un mejor rendimiento.
• Agregue más nodos de datos al clúster de OpenSearch Service.
• Actualice su estrategia de partición.
• Elimine los índices antiguos o no utilizados para liberar espacio en disco.

Resolución

Comprobar la asignación de particiones, los tamaños de las particiones y la estrategia de partición de índices

Para comprobar el número de particiones asignadas a cada nodo y la cantidad de espacio en disco utilizado en cada nodo, utilice la siguiente API:

GET _cat/allocation?v

Para comprobar las particiones asignadas a cada nodo y el tamaño de cada partición, utilice la siguiente API:

GET _cat/shards?v

Nota: Esta API muestra que el tamaño de las particiones puede variar según los distintos índices.

La estrategia de partición desigual de los índices puede provocar asimetría en los datos. En este caso, las particiones de índices más grandes residen solo en unos pocos nodos. Para comprobar la estrategia de partición de los índices, utilice la siguiente API:

GET _cat/indices?v

Asegurarse de que las particiones tengan el mismo tamaño en todos los índices

Si el tamaño del índice varía significativamente, utilice la API de índice de sustitución para crear un nuevo índice cuando se alcancen determinados tamaños de índice. También puede utilizar Index State Management (ISM) para crear un nuevo índice para las versiones 7.1 y posteriores de OpenSearch Service. Para obtener más información sobre cómo sustituir un alias mediante ISM, consulte Sustitución en el sitio web de Open Distro.

Mantenga los tamaños de las particiones entre 10 GB y 50 GB para conseguir un mejor rendimiento

Si tiene una clase de instancias de gran tamaño, utilice la escala de petabytes de Amazon OpenSearch Service para establecer el tamaño de las particiones. Por ejemplo, un dominio de OpenSearch Service con varias instancias i3.16xlarge.search puede admitir tamaños de partición de hasta 100 GB porque hay más recursos disponibles. Para obtener más información sobre la estrategia de partición, consulte Elección del número de particiones.

Agregar más nodos de datos al clúster de OpenSearch Service

Si el clúster de OpenSearch Service ha alcanzado altos niveles de uso del disco, agregue más nodos de datos al clúster. Al agregar nodos de datos, también se agregan más recursos para mejorar el rendimiento del clúster.

Nota: OpenSearch Service no reequilibra automáticamente el clúster cuando falta espacio de almacenamiento. Como resultado, si un nodo de datos se queda sin espacio de almacenamiento no utilizado, entonces el clúster bloquea cualquier escritura. Para obtener más información sobre la administración del espacio en disco, consulte ¿Cómo puedo solucionar un problema de baja capacidad de almacenamiento en mi dominio de Amazon OpenSearch Service?

Actualizar su estrategia de partición

De forma predeterminada, Amazon OpenSearch Service tiene una estrategia de partición de 5:1, donde cada índice se divide en cinco particiones principales. Dentro de cada índice, cada partición principal también tiene su propia réplica. OpenSearch Service asigna automáticamente particiones primarias y réplicas de particiones a nodos de datos separados, y así se asegura de que haya una copia de seguridad en caso de error.

Para modificar el comportamiento predeterminado de OpenSearch Service, diseñe los índices de forma que las particiones se distribuyan por igual por tamaño:

• Para los índices existentes, use la API de reindexación para cambiar el número de particiones principales. La API _reindex se puede usar para fusionar índices más pequeños en un índice mayor o para dividir el índice mayor. Cuando el índice más grande se divide en más particiones primarias, el tamaño de las particiones disminuye.
• Para los índices nuevos, utilice la API de plantillas de índices para definir el número de particiones principales y de réplica.

A continuación, actualice la configuración de los índices de sus particiones. Para obtener más información, consulte Actualizar la API de configuración de índices en el sitio web de Elasticsearch.

Elimine los índices antiguos o no utilizados para liberar espacio en disco

OpenSearch Service o Elasticsearch versión 6.8 o posterior admiten ISM. Con ISM, puede definir políticas de administración personalizadas para que los índices antiguos o no utilizados se eliminen después de un tiempo establecido.

Información relacionada

Calcular los requisitos de almacenamiento

Comience a utilizar Amazon OpenSearch Service: ¿Cuántas particiones necesito?