Perché esiste una discrepanza nei parametri di archiviazione e dimensione tra la console Amazon S3, CloudWatch e S3 Storage Lens?

7 minuti di lettura
0

Sto confrontando il “Calcolo della dimensione totale” nella console Amazon Simple Storage Service (Amazon S3), lo storage giornaliero in bucket in Amazon CloudWatch e lo “spazio di archiviazione totale” in Amazon S3 Storage Lens. Noto una discrepanza in queste metriche.

Breve descrizione

Quando si nota questa discrepanza, verifica le seguenti condizioni:

  • Hai attivato il controllo delle versioni degli oggetti.
    Nota: La funzionalità di controllo delle versioni degli oggetti in Amazon S3 mantiene più versioni di un oggetto nel bucket. Per impostazione predefinita, il controllo delle versioni degli oggetti di Amazon S3 è disattivato nei bucket ed è necessario attivare esplicitamente questa funzionalità.
  • Esistono caricamenti in più parti incompleti.
    Nota: i caricamenti incompleti in più parti non sono visibili nella console Amazon S3, ma vengono calcolati come parte dello spazio di archiviazione nei parametri di CloudWatch e Storage Lens.

Per identificare la causa della discrepanza nella segnalazione, controlla se hai attivato il controllo delle versioni degli oggetti. Inoltre, cerca eventuali caricamenti in più parti nel tuo bucket. Questi due fattori potrebbero determinare un aumento del valore della dimensione del bucket calcolato in CloudWatch e della metrica di Archiviazione totale S3 Storage Lens. Questi fattori non si applicano quando si calcola la dimensione totale dell'oggetto nella console Amazon S3. Per ulteriori informazioni, consulta i parametri di storage giornalieri di Amazon S3 per i bucket in CloudWatch.

Suggerimento: Se hai caricamenti in più parti incompleti in Amazon S3, valuta la possibilità di creare una regola di configurazione del ciclo di vita. Questa regola di configurazione del ciclo di vita elimina automaticamente tutte le parti incomplete, riducendo il costo dell'archiviazione dei dati. Tieni presente che le regole del ciclo di vita funzionano in modo asincrono, quindi potrebbe verificarsi un ritardo nell'operazione. Tuttavia, non appena gli oggetti vengono contrassegnati per l'eliminazione, non ti viene più addebitato lo spazio di archiviazione (anche se l'oggetto non è ancora stato rimosso).

Tieni presente che le metriche di monitoraggio di Amazon S3 vengono registrate una volta al giorno. Pertanto, queste metriche potrebbero non visualizzare le informazioni più aggiornate. Tuttavia, CloudWatch monitora le risorse e le applicazioni AWS in tempo reale. Inoltre, la console S3 e Storage Lens utilizzano la conversione in base 2 (/1024) per riportare le metriche di archiviazione, mentre CloudWatch utilizza di default la conversione in base 10 (/1000).

Risoluzione

Metriche di archiviazione giornaliere in CloudWatch

In CloudWatch, la metrica BucketSizeBytes rileva tutti i tipi di storage Amazon S3 e Amazon S3 Glacier, le versioni degli oggetti e qualsiasi caricamento in più parti incompleto. Questo valore viene calcolato sommando tutte le dimensioni degli oggetti, i metadati nel bucket (oggetti correnti e non correnti) e qualsiasi dimensione di caricamento in più parti incompleta. Ad esempio, la metrica BucketSizeBytes calcola la quantità di dati (in byte) archiviata in un bucket Amazon S3 in tutte le seguenti classi di storage di oggetti:

  • S3 Standard
  • S3 Intelligent-Tiering
  • S3 Standard-IA
  • S3 One Zone-IA
  • Storage S3 a ridondanza ridotta
  • S3 Glacier Deep Archivio
  • S3 Glacier Recupero flessibile
  • S3 Glacier Recupero istantaneo

La metrica NumberOfObjects in CloudWatch conta i seguenti valori nel bucket:

  • Il numero totale di oggetti tra tutte le classi di archiviazione. Per i bucket con controllo delle versioni, ciò include le versioni correnti e non correnti degli oggetti, nonché i marcatori di eliminazione.
  • Il numero totale di parti per eventuali caricamenti incompleti in più parti

Ad esempio, se si dispone di due versioni dello stesso oggetto, le due versioni vengono conteggiate come due oggetti separati.

Metrica «Archiviazione totale» nella dashboard di S3 Storage Lens

Puoi visualizzare la metrica dello Spazio di archiviazione totale nella dashboard di S3 Storage Lens nella scheda Bucket. Questa metrica acquisisce lo spazio di archiviazione totale, inclusi caricamenti incompleti in più parti, metadati degli oggetti e marcatori di eliminazione. Per visualizzare l'esatta composizione dello spazio occupato da versioni non correnti, caricamenti in più parti incompleti o eliminare i marcatori, controlla le singole metriche:

  • Byte della versione corrente
  • Byte di versione non correnti
  • Byte di caricamento multiparte incompleti

Queste metriche sono disponibili nel piano gratuito di AWS.

Inoltre, la metrica del conteggio degli oggetti include informazioni sulle versioni correnti e non correnti, sui marcatori di cancellazione e sul conteggio degli oggetti di caricamento multiparte incompleti. Per informazioni granulari a livello, controlla le metriche:

  • Numero di oggetti della versione corrente
  • Numero di oggetti in versione non corrente
  • Elimina il numero di oggetti marker
  • Numero di oggetti di caricamento multiparte incompleto.

Per ulteriori informazioni, consulta il glossario delle metriche di Amazon S3 Storage Lens.

«Calcola la dimensione totale» nella console Amazon S3

Per calcolare la dimensione del tuo bucket dalla console Amazon S3, puoi utilizzare l'azione Calcola la dimensione totale. Amazon S3 calcola quindi le dimensioni di storage del bucket. Tuttavia, tieni presente che i caricamenti in più parti e le versioni precedenti o non correnti non vengono calcolati nella dimensione totale del bucket. Amazon S3 calcola solo il numero totale di oggetti per la versione corrente o più recente di ogni oggetto archiviato nel bucket. Ad esempio, se ci sono due versioni di un oggetto nel bucket, il calcolatore di spazio di archiviazione di Amazon S3 le considera un solo oggetto. Di conseguenza, il numero calcolato dalla console Amazon S3 è inferiore a quello riportato da CloudWatch.

Caricamenti in più parti incompleti

Per verificare la quantità di dimensione occupata dai caricamenti multipart incompleti, controlla la metrica Incomplete multipart upload bytes nella dashboard S3 Storage Lens sotto la scheda Bucket.

Per esaminare l'elenco dei caricamenti multiparte incompleti, esegui il comando list-multipart-uploads:

aws s3api list-multipart-uploads --bucket BUCKET_EXAMPLE

Nota: Sostituisci BUCKET_EXAMPLE con il nome del tuo bucket.

Quindi, elenca tutti gli oggetti nel caricamento in più parti, usando il comando list-parts e il tuo valore UploadId:

aws s3api list-parts --bucket BUCKET_EXAMPLE --key large_test_file --upload-id EXAMPLE_VALUE

Nota: Sostituisci BUCKET_EXAMPLE con il nome del tuo bucket e EXAMPLE_VALUE con il tuo valore UploadId.

Creazione di una regola del ciclo di vita

Per eliminare automaticamente i caricamenti in più parti, crea una regola di configurazione del ciclo di vita:

  1. Apri la console Amazon S3.
  2. Scegli la scheda Management.
  3. Scegli Crea nuova politica.
  4. Aggiungi il nome della politica.
  5. Scegliete Seleziona: elimina i marcatori di eliminazione scaduti o i caricamenti in più parti incompleti.
  6. (Facoltativo) Se il tuo bucket non dispone di versioni, scegli Elimina caricamenti in più parti incompleti.

Controllo delle versioni degli oggetti

Per esaminare e controllare il bucket Amazon S3 alla ricerca di diverse versioni di oggetti, utilizza l'elenco di inventario Amazon S3. Un file di elenco di inventario Amazon S3 contiene un elenco degli oggetti nel bucket di origine e i metadati per ogni oggetto. Il file dell'elenco di inventario acquisisce informazioni sui metadati come il nome del bucket, la dimensione dell'oggetto, la classe di archiviazione e l'ID della versione. Per calcolare le dimensioni occupate dalle versioni correnti e non correnti, controlla le metriche del dashboard S3 Storage Lens Current-version bytes e Non-current version bytes, rispettivamente.

Informazioni correlate

Esempio 8: Configurazione del ciclo di vita per abbandonare i caricamenti in più parti

Oggetti in scadenza

Metriche di spazio di archiviazione giornaliere di Amazon S3 per i bucket in CloudWatch

AWS UFFICIALE
AWS UFFICIALEAggiornata 10 mesi fa