Warum gibt es eine Diskrepanz bei den Speicher- und Größenmetriken zwischen der Amazon S3-Konsole und Amazon CloudWatch?

Letzte Aktualisierung: 2021-12-03

Ich sehe eine Diskrepanz zwischen der Zahl „Gesamtgröße berechnen“ in der Amazon Simple Storage Service (Amazon S3) -Konsole und den täglichen Speichermetriken von Amazon CloudWatch. Warum gibt es eine Diskrepanz in den gemeldeten Metriken zwischen den beiden Quellen?

Kurzbeschreibung

Wenn es eine Diskrepanz zwischen Ihren CloudWatch-Speichermetriken und „Gesamtgrößenzahl berechnen“ in der Amazon S3-Konsole gibt, überprüfen Sie, ob Folgendes zutrifft:

  • Die Objektversioning ist aktiviert.
    Hinweis: Die Funktion zur Objektversioning in Amazon S3 behält mehrere Versionen eines Objekts in Ihrem Bucket bei. Standardmäßig ist die Amazon S3-Objektversioning für Buckets deaktiviert, und Sie müssen die Funktion explizit aktivieren.
  • Es gibt unvollständige mehrteilige Uploads.
    Hinweis: Unvollständige mehrteilige Uploads sind in der Amazon S3-Konsole nicht sichtbar, werden aber als Teil des Speichers in den CloudWatch-Metriken berechnet.

Um die Ursache für die Abweichung bei der Berichterstellung zu ermitteln, überprüfen Sie, ob Sie die Objektversioning aktiviert haben, und suchen Sie nach mehrteiligen Uploads in Ihrem Bucket. Diese beiden Faktoren können zu einem erhöhten Wert der berechneten Bucket-Größe in CloudWatch führen. Weitere Informationen finden Sie unter Tägliche Amazon S3 CloudWatch-Speichermetriken für Buckets.

Tipp: Wenn Sie in Amazon S3 unvollständige mehrteilige Uploads haben, sollten Sie eine Lebenszyklus-Konfigurationsregel erstellen. Mit dieser Lebenszykluskonfigurationsregel können unvollständige Teile automatisch bereinigt werden, wodurch die Kosten für die Datenspeicherung gesenkt werden. Beachten Sie, dass Lebenszyklusregeln asynchron funktionieren, sodass es zu Verzögerungen beim Vorgang kommen kann. Sobald die Objekte jedoch zum Löschen markiert sind, wird Ihnen die Speicherung nicht mehr in Rechnung gestellt (auch wenn das Objekt noch nicht entfernt wurde).

Darüber hinaus werden die Amazon S3-Überwachungsmetriken einmal täglich aufgezeichnet und zeigen daher möglicherweise nicht die aktuellsten Informationen an. In der Zwischenzeit überwacht CloudWatch Ihre AWS-Ressourcen und -Anwendungen in Echtzeit.

Auflösung

Tägliche Speichermetriken in CloudWatch

In CloudWatch erfasst die BucketSizebytes-Metrik alle Amazon S3- und Amazon S3 Glacier-Speichertypen, Objektversionen und alle unvollständigen mehrteiligen Uploads. Dieser Wert wird berechnet, indem alle Objektgrößen, Metadaten in Ihrem Bucket (sowohl aktuelle als auch nicht aktuelle Objekte) und alle unvollständigen Multipart-Uploadgrößen zusammengefasst werden. Beispielsweise berechnet die BucketSizeBytes-Metrik die Datenmenge (in Byte), die in einem Amazon S3-Bucket in all diesen Objektspeicherklassen gespeichert werden:

  • S3 Standard
  • S3 Intelligent-Tiering
  • S3 Standard-IA
  • S3 One Zone-IA
  • S3-Speicher mit reduzierter Redundanz
  • S3 Glacier Deep Archive
  • S3 Glacier

Darüber hinaus enthält die Metrik NumberOfObjects in CloudWatch die Gesamtzahl der Objekte, die in einem Bucket für alle Speicherklassen gespeichert sind. Dieser Wert zählt alle Objekte im Bucket (sowohl aktuell als auch nicht aktuell) zusammen mit der Gesamtzahl der Teile für unvollständige mehrteilige Uploads. Die NumberOfObjects-Metrik berechnet auch die Gesamtzahl der Objekte für alle Versionen von Objekten in Ihrem Bucket. Wenn Sie beispielsweise zwei Versionen desselben Objekts haben, werden die beiden Versionen als zwei separate Objekte gezählt. Weitere Informationen finden Sie unter Metriken und Dimensionen.

„Gesamtgröße berechnen“ in Amazon S3-Konsole

Um die Größe Ihres Buckets über die Amazon S3-Konsole zu berechnen, können Sie die Aktion Gesamtgröße berechnen verwenden. Amazon S3 berechnet dann die Speichergröße Ihres Buckets. Beachten Sie jedoch, dass mehrteilige Uploads und frühere oder nicht aktuelle Versionen nicht in der Gesamtgröße des Buckets berechnet werden. Amazon S3 berechnet nur die Gesamtzahl der Objekte für die aktuelle oder neueste Version jedes Objekts, das im Bucket gespeichert ist. Wenn sich beispielsweise zwei Versionen eines Objekts in Ihrem Bucket befinden, zählt der Speicherrechner von Amazon S3 sie nur als ein Objekt. Infolgedessen ist die in der Amazon S3-Konsole berechnete Zahl kleiner als die von CloudWatch gemeldete.

Unvollständige mehrteilige Uploads

Um die Liste der unvollständigen mehrteiligen Uploads zu überprüfen, führen Sie den Befehl list-multipart-uploads aus:

aws s3api list-multipart-uploads --bucket <bucket-example>

Listen Sie dann alle Objekte im mehrteiligen Upload auf, indem Sie den Befehl list-parts und Ihren UploadID-Wert verwenden:

aws s3api list-parts --bucket <bucket-example> --key large_test_file --upload-id <examplevalue>

Erstellen einer Lebenszyklusregel

Um mehrteilige Uploads automatisch zu löschen, können Sie eine Lebenszyklus-Konfigurationsregel erstellen. Dazu gehen Sie wie folgt vor:

1.    Öffnen Sie die Amazon S3-Konsole.

2.    Wählen Sie die Registerkarte Verwaltung.

3.    Wählen Sie Neue Richtlinie erstellen.

4.    Fügen Sie den Namen der Richtlinie hinzu.

5.    Wählen Sie Select - Löschen von abgelaufenen Löschmarkierungen oder unvollständigen mehrteiligen Uploads.

6.    (Optional) Wenn Ihr Bucket nicht versioniert ist, wählen Sie Unvollständige mehrteilige Uploads löschen.

Objektversioning

Um Ihren Amazon S3-Bucket auf verschiedene Versionen von Objekten hin zu überprüfen und zu kontrollieren, verwenden Sie die Amazon S3-Inventarliste. Eine Amazon S3-Inventarlistendatei enthält eine Liste der Objekte im Quell-Bucket und Metadaten für jedes Objekt. Die Inventarlistendatei erfasst Metadaten wie Bucket-Name, Objektgröße, Speicherklasse und Versions-ID.


War dieser Artikel hilfreich?


Benötigen Sie Hilfe zur Fakturierung oder technischen Support?