- Archiviazione›
- Amazon S3›
- Operazioni di batch
Operazioni in batch Amazon S3
Gestisci da decine a miliardi di oggetti su larga scala
Operazioni in batch S3 è una funzionalità di gestione dei dati di Amazon S3 che consente di gestire miliardi di oggetti su larga scala con pochi clic nella console di S3 o con una singola richiesta API. Con questa funzionalità puoi apportare modifiche ai metadati e alle proprietà degli oggetti o eseguire altre attività di gestione dell’archiviazione, come copiare o replicare oggetti tra i bucket, sostituire i set di tag degli oggetti, modificare i controlli di accesso e ripristinare gli oggetti archiviati dalle classi di archiviazione di S3 Glacier, evitando di passare mesi a sviluppare le applicazioni personalizzate per eseguire tali attività.
Operazioni in batch S3
S3 Batch Operations è una soluzione gestita per effettuare azioni di storage come copiare e taggare oggetti su larga scala, sia per singole azioni o per carichi di lavoro in batch. S3 Batch Operations può effettuare azioni su miliardi di oggetti e petabyte di dati con un’unica richiesta. Per svolgere un lavoro su S3 Batch Operations, devi creare un processo. Il processo consiste nella lista di oggetti, le azioni da effettuare e il set di parametri specificati a seconda del tipo di operazione. Su S3 Batch Operations puoi creare ed eseguire più processi in contemporanea, o stabilire a piacimento la priorità dei processi, in modo che le attività più importanti vengano svolte prima. Inoltre, S3 Batch Operations gestisce nuovi tentativi, monitora il progresso, invia notifiche di completamento, genera report e distribuisce eventi ad AWS CloudTrail per tutte le modifiche effettuate e tutte le attività eseguite.
S3 Batch Operations integra tutte le architetture event-driven eseguibili ad oggi. Per i nuovi oggetti, l’utilizzo degli eventi S3 e delle funzioni Lambda è l’ideale per convertire file, creare anteprime, scansionare dati e svolgere altre operazioni. Per esempio, i clienti usano gli eventi S3 e le funzioni Lambda per creare versioni di foto grezze di dimensioni inferiori e a bassa risoluzione, quando le immagini vengono caricate per la prima volta su S3. Operazioni in batch S3 integra questi flussi di lavoro basati su eventi con un semplice meccanismo che permette di effettuare le stesse azioni anche sugli oggetti già esistenti.
Come funziona S3 Batch Operations
Tutorial su Operazioni in batch S3
Teespring
Teespring è stata fondata nel 2011 e permette agli utenti di creare e vendere online prodotti on demand. Poiché ogni articolo di merce personalizzata richiede molte risorse interne, Teespring archivia petabyte di dati su Amazon S3.
“Amazon S3 Batch Operations ci ha aiutato ad ottimizzare il nostro storage grazie alle classi di storage Glacier di Amazon S3. Utilizzavamo i metadati del nostro storage per creare batch di oggetti che potevamo spostare su Amazon S3 Glacier. Con Amazon S3 Glacier abbiamo risparmiato più dell’80% dei nostri costi di storage. Siamo sempre alla ricerca di opportunità per automatizzare la gestione dello storage e con Operazioni in batch S3, possiamo gestire milioni di oggetti in pochi minuti”.
James Brady, Vice presidente progettazione presso Teespring
Capital One
Capital One è una banca fondata al crocevia tra finanza e tecnologia, nonché uno dei brand americani più riconosciuti. Capital One usava Amazon S3 Batch Operations per copiare i dati tra due diverse regioni AWS in modo da aumentare la ridondanza dei dati e standardizzarne le tracce digitali tra le due regioni.
“Con Amazon S3 Batch Operations abbiamo creato un processo per copiare milioni di oggetti in qualche ora, operazione che solitamente richiedeva mesi. Abbiamo usato i report d’inventario di Amazon S3, che fornivano una lista di oggetti nel nostro bucket, come input per il nostro processo Amazon S3 Batch Operations. Amazon S3 era utile per copiare i dati, fornire aggiornamenti e, a processo ultimato, il report dell’audit. Questa funzione ha fatto risparmiare al nostro team settimane di sforzi manuali e ha reso il trasferimento di dati su larga scala un gesto di routine”.
Franz Zemen, Vice presidente, Software Engineering presso Capital One
ePlus
ePlus, un partner AWS Advanced di consulenza, lavora con i clienti per ottimizzare il loro ambiente IT e utilizza soluzioni, come Operazioni in batch S3, per far risparmiare ai clienti tempo e denaro.
“S3 Batch Operations è semplicemente fantastico. Non solo ha aiutato un nostro cliente a ridurre il tempo, la complessità e la fatica di dover raccogliere una vasta selezione di operazioni S3, programmare i processi e poi trascrivere le informazioni in una dashboard pronta per essere usata, ma ha anche aiutato a contrastare la frustrazione derivante dall’utilizzo in alcuni casi, che non saremmo riusciti a contrastare in una frazione di tempo così breve.
Per esempio, Operazioni in batch S3 ha reso rapida la copia di oltre 2 milioni di oggetti nelle regioni dello stesso account, salvaguardando i metadati. La soluzione ha funzionato perfettamente grazie all’esecuzione di mansioni di questo tipo con account diversi e, in particolare, ha generato un report di completamento che automaticamente passava al vaglio e separava le operazioni avvenute con successo da quelle fallite su oltre 400 milioni di oggetti, consentendo una più facile gestione delle operazioni fallite in un singolo file”.
David Lin, Senior Solutions Architect & AWS Certified Professional presso ePlus
