Gestisci decine di miliardi di oggetti su larga scala con S3 Batch Operations
S3 Batch Operations è una funzionalità di gestione dei dati di Amazon S3 che consente di gestire miliardi di oggetti su larga scala con pochi clic nella console di gestione di Amazon S3 o con una singola richiesta API. Con questa funzionalità puoi apportare modifiche ai metadati e alle proprietà degli oggetti o eseguire altre attività di gestione dell'archiviazione, come copiare o replicare oggetti tra i bucket, sostituire i set di tag degli oggetti, modificare i controlli di accesso e ripristinare gli oggetti archiviati da S3 Glacier, evitando di passare mesi a sviluppare le applicazioni personalizzate per eseguire tali attività.
S3 Batch Operations
S3 Batch Operations è una soluzione gestita per effettuare azioni di storage come copiare e taggare oggetti su larga scala, sia per singole azioni o per carichi di lavoro in batch. S3 Batch Operations può effettuare azioni su miliardi di oggetti e petabyte di dati con un’unica richiesta. Per svolgere un lavoro su S3 Batch Operations, devi creare un processo. Il processo consiste nella lista di oggetti, le azioni da effettuare e il set di parametri specificati a seconda del tipo di operazione. Su S3 Batch Operations puoi creare ed eseguire più processi in contemporanea, o stabilire a piacimento la priorità dei processi, in modo che le attività più importanti vengano svolte prima. Inoltre, S3 Batch Operations gestisce nuovi tentativi, monitora il progresso, invia notifiche di completamento, genera report e distribuisce eventi ad AWS CloudTrail per tutte le modifiche effettuate e tutte le attività eseguite.
S3 Batch Operations integra tutte le architetture event-driven eseguibili ad oggi. Per i nuovi oggetti, l’utilizzo degli eventi S3 e delle funzioni Lambda è l’ideale per convertire file, creare anteprime, scansionare dati e svolgere altre operazioni. Per esempio, i clienti usano gli eventi S3 e le funzioni Lambda per creare versioni di foto in raw di dimensioni inferiori e a bassa risoluzione, quando le immagini vengono caricate per la prima volta su S3. S3 Batch Operations integra questi workflow event-driven con un semplice meccanismo che permette di effettuare le stesse azioni anche sugli oggetti già esistenti.
Come funziona S3 Batch Operations
Per svolgere un lavoro su S3 Batch Operations, devi creare un processo. Il processo consiste nella lista di oggetti, le azioni da effettuare e il set di parametri specificati a seconda del tipo di operazione. Su S3 Batch Operations puoi creare ed eseguire più processi in contemporanea, o stabilire a piacimento la priorità dei processi, in modo che le attività più importanti vengano svolte prima. Inoltre, Operazioni in batch S3 gestisce nuovi tentativi, monitora il progresso, invia notifiche di completamento, genera report e distribuisce eventi ad AWS CloudTrail per tutte le modifiche effettuate e tutte le attività eseguite.
Tutorial su Operazioni in batch S3
Clienti
Teespring è stata fondata nel 2011 e permette agli utenti di creare e vendere online prodotti on demand. Poiché ogni articolo di merce personalizzata richiede molte risorse interne, Teespring archivia petabyte di dati su Amazon S3.
“Amazon S3 Batch Operations ci ha aiutato ad ottimizzare il nostro storage grazie alle classi di storage Glacier di Amazon S3. Utilizzavamo i metadati del nostro storage per creare batch di oggetti che potevamo spostare su Amazon S3 Glacier. Con Amazon S3 Glacier abbiamo risparmiato più dell’80% dei nostri costi di storage. Siamo sempre alla ricerca di opportunità per automatizzare la gestione dello storage e con S3 Batch Operations, possiamo gestire milioni di oggetti in pochi minuti.”
James Brady, Vice presidente progettazione - Teespring
Capital One è una banca fondata al crocevia tra finanza e tecnologia, nonché uno dei brand americani più riconosciuti.
Capital One usava Amazon S3 Batch Operations per copiare i dati tra due diverse regioni AWS in modo da aumentare la ridondanza dei dati e standardizzarne le tracce digitali tra le due regioni.
“Con Amazon S3 Batch Operations abbiamo creato un processo per copiare milioni di oggetti in qualche ora, operazione che solitamente richiedeva mesi. Abbiamo usato i report d’inventario di Amazon S3, che fornivano una lista di oggetti nel nostro bucket, come input per il nostro processo Amazon S3 Batch Operations. Amazon S3 era utile per copiare i dati, fornire aggiornamenti e, a processo ultimato, il report dell’audit. Questa funzione ha fatto risparmiare al nostro team settimane di sforzi manuali e ha reso il trasferimento di dati su larga scala un gesto di routine.
Franz Zemen, Vice presidente, Software Engineering - Capital One
ePlus, un partner AWS Advanced di consulenza, lavora con i clienti per ottimizzare il loro ambiente IT e utilizza soluzioni, come S3 Batch Operations, per far risparmiare ai clienti tempo e denaro.
“S3 Batch Operations è semplicemente fantastico. Non solo ha aiutato un nostro cliente a ridurre il tempo, la complessità e la fatica di dover raccogliere una vasta selezione di operazioni S3, programmare i processi e poi trascrivere le informazioni in una dashboard pronta per essere usata, ma ha anche aiutato a contrastare la frustrazione derivante dall’utilizzo in alcuni casi, che non saremmo riusciti a contrastare in una frazione di tempo così breve.
Per esempio, S3 Batch Operations ha reso rapida la copia di oltre 2 milioni di oggetti nelle regioni dello stesso account, salvaguardando i metadati. La soluzione ha funzionato perfettamente grazie all’esecuzione di mansioni di questo tipo con account diversi e, in particolare, ha generato un report di completamento che automaticamente passava al vaglio e separava le operazioni avvenute con successo da quelle fallite, consentendo una più facile gestione delle operazioni fallite in un file singolo.
David Lin, Senior Solutions Architect e professionista con certificazione AWS - ePlus
Post del blog su S3 Batch Operations
Blog AWS News
Amazon S3 Batch Operations
Amazon S3 Batch Operations può essere utilizzato per processare centinaia, milioni, o miliardi di oggetti S3, in modo semplice e immediato. Puoi copiare gli oggetti in un altro bucket, impostare i tag e la lista di controllo accessi (ACL), iniziare un ripristino da S3 Glacier, o invocare le funzioni AWS Lambda per ognuno di essi.
Blog sullo storage in AWS
Criptare oggetti con S3 Batch Operations
Questo post dimostra come creare una lista di oggetti, filtri per includere solo oggetti non crittografati, configurare le autorizzazioni ed eseguire un processo S3 Batch Operations per crittografare i tuoi oggetti. Crittografare oggetti già esistenti è uno dei tanti modi in cui S3 Batch Operations può essere utilizzato per gestire i tuoi oggetti Amazon S3.
Blog sullo storage in AWS
Transcodifica di file video con S3 Batch Operations
Questo post descrive l’utilizzo di S3 Batch Operations per avviare un processo di transcodifica di file video con AWS Lambda, sia per video archiviati su S3, che per video che necessitano di essere ripristinati da Amazon S3 Glacier.
Scopri come iniziare e le procedure consigliate
Ottieni l'accesso immediato al piano gratuito di AWS.
Inizia subito a utilizzare Amazon S3 nella Console di gestione AWS.