¿Por qué hay una discrepancia en las métricas de almacenamiento y tamaño entre la consola de Amazon S3, CloudWatch y S3 Storage Lens?

Descripción breve

Cuando vea esta discrepancia, compruebe las siguientes condiciones:

• Ha activado el control de versiones de objetos.
  Nota: La característica de control de versiones de objetos de Amazon S3 retiene varias versiones de un objeto en su bucket. De forma predeterminada, el control de versiones de objetos de Amazon S3 está desactivado en los buckets y debe activar esta característica de forma explícita.
• Existen cargas multiparte incompletas.
  Nota: Las cargas multiparte incompletas no son visibles en la consola de Amazon S3, sino que se calculan como parte del almacenamiento en las métricas de CloudWatch y Storage Lens.

Para identificar la causa de la discrepancia en los informes, compruebe si ha activado el control de versiones de objetos. Además, busque cargas multiparte en el bucket. Estos dos factores pueden aumentar el valor del tamaño de bucket calculado en CloudWatch y en la métrica Almacenamiento total de S3 Storage Lens. Estos factores no se aplican al calcular el tamaño total del objeto en la consola de Amazon S3. Para obtener más información, consulte Métricas de almacenamiento diario de Amazon S3 para buckets en CloudWatch.

Consejo: Si tiene cargas multiparte incompletas en Amazon S3, considere la posibilidad de crear una regla de configuración del ciclo de vida. Esta regla de configuración del ciclo de vida limpiará automáticamente las partes incompletas, lo que reducirá el coste del almacenamiento de datos. Tenga en cuenta que las reglas del ciclo de vida funcionan de forma asíncrona, por lo que puede haber un retraso en la operación. Sin embargo, en cuanto se marquen los objetos para su eliminación, ya no se le facturará el almacenamiento (incluso si el objeto aún no se ha eliminado).

Tenga en cuenta que las métricas de supervisión de Amazon S3 se registran una vez al día. Por lo tanto, es posible que estas métricas no muestren la información más actualizada. Sin embargo, CloudWatch supervisa los recursos y las aplicaciones de AWS en tiempo real. Además, la consola de S3 y Storage Lens utilizan la conversión en base 2 (/1024) para informar sobre las métricas de almacenamiento, y CloudWatch utiliza la conversión en base 10 (/1000) de forma predeterminada.

Resolución

Métricas de almacenamiento diario en CloudWatch

En CloudWatch, la métrica BucketSizeBytes captura todos los tipos de almacenamiento de Amazon S3 y Amazon S3 Glacier, las versiones de los objetos y cualquier carga multiparte incompleta. Este valor se calcula al sumar todos los tamaños de los objetos, los metadatos de su bucket (tanto los objetos actuales como los no actuales) y los tamaños de las cargas multiparte incompletas. Por ejemplo, la métrica BucketSizeBytes calcula la cantidad de datos (en bytes) que se almacena en un bucket de Amazon S3 en todas las siguientes clases de almacenamiento de objetos:

• S3 Standard
• S3 Intelligent-Tiering
• S3 Standard-IA
• S3 One Zone-IA
• Almacenamiento de redundancia reducida de S3
• S3 Glacier Deep Archive
• S3 Glacier Flexible Retrieval
• S3 Glacier Instant Retrieval

La métrica NumberOfObjects de CloudWatch cuenta los siguientes valores de su bucket:

• El número total de objetos entre todas las clases de almacenamiento. En el caso de buckets con control de versiones, esto incluye las versiones de objetos actuales y las no actuales, así como los marcadores de eliminación.
• El número total de partes de cualquier carga multiparte incompleta.

Por ejemplo, si tiene dos versiones del mismo objeto, las dos versiones cuentan como dos objetos independientes.

Métrica «Almacenamiento total» en el panel de S3 Storage Lens

La métrica Almacenamiento total se puede ver en la pestaña Bucket del panel de S3 Storage Lens. Esta métrica captura el almacenamiento total, incluidas las cargas multiparte incompletas, los metadatos de los objetos y los marcadores de eliminación. Para ver la composición exacta del espacio ocupado por las versiones no actuales, las cargas multiparte incompletas o los marcadores de eliminación, compruebe las siguientes métricas:

• Bytes de versión actual
• Bytes de versión no actual
• Bytes de cargas multiparte incompletas

Estas métricas están disponibles en el nivel gratuito de AWS.

Además, la métrica Recuento de objetos incluye información de las versiones actuales y las no actuales, los marcadores de eliminación y los recuentos de objetos de cargas multiparte incompletas. Para obtener información detallada, compruebe las métricas:

• Recuento de objetos de versión actual
• Recuento de objetos de versión no actual
• Recuento de objetos de marcadores de eliminación
• Recuento de objetos de cargas multiparte incompletas.

Para obtener más información, consulte el glosario de las métricas de Amazon S3 Storage Lens.

«Calcular el tamaño total» en la consola de Amazon S3

Para calcular el tamaño de su bucket desde la consola de Amazon S3, puede utilizar la acción Calcular el tamaño total. A continuación, Amazon S3 calcula el tamaño del almacenamiento de su bucket. Sin embargo, tenga en cuenta que las cargas multiparte y las versiones anteriores o no actuales no se calculan en el tamaño total del bucket. Amazon S3 calcula solamente la cantidad total de objetos de la versión actual o más reciente de cada objeto almacenado en el bucket. Por ejemplo, si hay dos versiones de un objeto en el bucket, la calculadora de almacenamiento de Amazon S3 las contará como si fueran un único objeto. Como resultado, el número que calcula la consola de Amazon S3 es menor que el que muestra CloudWatch.

Cargas multiparte incompletas

Para ver el tamaño que ocupan las cargas multiparte incompletas, consulte la métrica Bytes de las cargas multiparte incompletas en la pestaña Bucket del panel de S3 Storage Lens.

Para revisar la lista de cargas multiparte incompletas, ejecute el comando list-multipart-uploads:

aws s3api list-multipart-uploads --bucket BUCKET_EXAMPLE

Nota: Sustituya BUCKET_EXAMPLE por el nombre de su bucket.

A continuación, enumere todos los objetos contenidos en la carga multiparte mediante el comandolist-parts y el valor de UploadId:

aws s3api list-parts --bucket BUCKET_EXAMPLE --key large_test_file --upload-id EXAMPLE_VALUE

Nota: Sustituya BUCKET_EXAMPLE por el nombre de su bucket y EXAMPLE_VALUE por el valor de UploadId.

Crear una regla de ciclo de vida

Para eliminar automáticamente las cargas multiparte, cree una regla de configuración de ciclo de vida:

1. Abra la consola de Amazon S3.
2. Elija la pestaña Administración.
3. Elija Crear nueva política.
4. Añada el nombre de la política.
5. Elija Seleccionar: eliminar los marcadores de eliminación caducados o las cargas multiparte incompletas.
6. (Opcional) Si el bucket no tiene versiones, elija Eliminar cargas multiparte incompletas.

Control de versiones de objetos

Para revisar y auditar su bucket de Amazon S3, con el fin de ver las diferentes versiones de objetos, utilice la lista de inventario de Amazon S3. Un archivo de la lista de inventario de Amazon S3 contiene una lista de los objetos del bucket de origen y los metadatos de cada objeto. El archivo de la lista de inventario captura la información de los metadatos, como el nombre del bucket, el tamaño del objeto, la clase de almacenamiento y el ID de la versión. Para calcular el tamaño que ocupan las versiones actuales y las no actuales, consulte en el panel de S3 Storage Lens la métrica Bytes de la versión actual y Bytes de la versión no actual, respectivamente.

Información relacionada

Ejemplo 8: configuración del ciclo de vida para anular cargas multipartes

Vencimiento de objetos

Métricas de almacenamiento diario de Amazon S3 para buckets en CloudWatch