¿Qué son los archivos de intercambio y por qué consumen espacio en mi instancia de AWS DMS?

Descripción corta

En AWS DMS, el componente SORTER almacena en la memoria caché los cambios en curso que provienen del origen. El componente hace esto para gestionar acciones como la fusión de transacciones, el filtrado y las transformaciones de datos antes de aplicarlas al destino.

Si el procesamiento de origen está superando la aplicación de destino, el destino no puede hacer frente a los cambios entrantes. O bien, si las transacciones largas superan la asignación máxima de memoria (MemoryLimitTotal) y el tiempo (MemoryKeepTime), las transacciones en la memoria se transfieren al disco de la instancia de replicación, conocido como archivos de intercambio o clasificación.

Estos archivos de intercambio son diferentes de los archivos de intercambio del sistema operativo que se crean cuando la memoria del servidor no es suficiente para el procesamiento. Por lo tanto, estos datos no se incluyen en la métrica SwapUsage de Amazon CloudWatch.

Resolución

Es posible que vea un mensaje similar a este en los registros de tareas:

“[SORTER ]I: Reading from source is paused. Total storage used by swap files exceeded the limit 1048576000 bytes (sorter_transaction.c:110) 00000849: 2021-04-28T07:19:20:987696 [SORTER ]I: Reading from source is resumed (sorter_transaction.c:116)]” ([SORTER ]I: Se ha pausado la lectura desde el origen. El almacenamiento total utilizado por los archivos de intercambio superó el límite de 1 048 576 000 bytes [sorter_transaction.c:110) 00000849:2021-04-28T07:19:20:987696 [SORTER ]I: Se ha reanudado la lectura desde el origen [sorter_transaction.c:116])

Se trata de un mensaje informativo y no de un error. Este mensaje aparece cuando los archivos de intercambio que utiliza el componente SORTER de AWS DMS alcanzan un límite de tamaño de 1 GB (límite codificado). Las versiones 3.4.2 y posteriores de AWS DMS incluyen una función que impide los escenarios de almacenamiento completo al limitar la cantidad máxima de archivos de intercambio que puede tener en los volúmenes de almacenamiento de una instancia de replicación. Por lo tanto, verá este mensaje cuando los archivos de intercambio que utiliza el componente DMS SORTER alcancen el límite de 1 GB.

Cuando se alcanza este límite de 1 GB, el componente SORTER detiene SOURCE CAPTURE. Luego, AWS DMS aplica los cambios de los archivos de intercambio a la base de datos de destino. Después de aplicar los cambios intercambiados del disco o cuando el archivo de intercambio cae por debajo de 1 GB, AWS DMS reanuda la captura del origen.

Nota: Cuando esto ocurre, la tarea continúa ejecutándose. Solo SOURCE CAPTURE está en pausa.

Reducir la generación de archivos de intercambio

Utilice estas prácticas recomendadas para ayudar a reducir o evitar la generación de archivos de intercambio en su instancia de AWS DMS:

• Compruebe las causas comunes de una latencia de destino alta en su tarea de AWS DMS:

• No hay claves o índices principales en el destino
• Hay cuellos de botella de recursos en el destino
• Hay cuellos de botella de recursos en la instancia de replicación
• Hay un problema de red entre la instancia de replicación y el destino

• Utilice el modo de aplicación por lotes y ParallelApplyThreads para mejorar la aplicación de destino, en función del tipo de motor.
• Si experimenta transacciones de larga duración en el origen, utilice confirmaciones frecuentes en la base de datos de origen para ayudar a mitigar el problema.
• Si hay memoria disponible en la instancia de replicación, puede aumentar los parámetros MemoryLimitTotal y MemoryKeepTime para que los cambios permanezcan en la memoria durante más tiempo antes de intercambiarse al disco. Asegúrese de aumentar ambos parámetros, porque cuando se alcanza un límite, AWS DMS intercambia los cambios en el disco.

Información relacionada

Change processing tuning settings (Cambiar la configuración de ajuste de procesamiento)