Gérer des dizaines de milliards d'objets à grande échelle avec S3 Batch Operations
S3 Batch Operations est une fonction de gestion des données d'Amazon S3 qui vous permet de gérer des milliards d'objets à grande échelle en seulement quelques clics dans la console de gestion Amazon S3 ou avec une seule demande d'API. Avec cette fonction, vous pouvez modifier les métadonnées et les propriétés des objets ou effectuer d'autres tâches de gestion du stockage comme copier ou répliquer des objets entre des compartiments, remplacer des ensembles de balises d'objets, modifier des contrôles d'accès et restaurer des objets archivés depuis S3 Glacier, plutôt que de consacrer plusieurs mois à développer des applications personnalisées pour effectuer ces tâches.
S3 Batch Operations
S3 Batch Operations est une solution gérée pour réaliser des actions de stockage telles que la copie et le balisage d’objets à grande échelle, que ce soit pour des tâches ponctuelles ou pour des charges de travail récurrentes et par lot. S3 Batch Operations peut réaliser des actions sur des milliards d’objets et des pétaoctets de données avec une seule requête. Pour réaliser un travail dans S3 Batch Operations, vous devez créer une tâche. La tâche comprend la liste des objets, l’action à réaliser, et l’ensemble des paramètres que vous spécifiez pour ce type d’opération. Vous pouvez créer et exécuter plusieurs tâches à la fois dans S3 Batch Operations ou utiliser des priorités de tâches selon les besoins pour définir la préséance de chaque tâche et vous assurer que le travail le plus critique est effectué en premier. S3 Batch Operations gère également les tentatives, suit la progression, envoie des notifications d’achèvement, génère des rapports et transmet des événements à AWS CloudTrail pour toutes les modifications apportées et les tâches exécutées.
S3 Batch Operations complète toute architecture basée sur des événements que vous pouvez utiliser aujourd’hui. Pour les nouveaux objets, l’utilisation des événements S3 et des fonctions Lambda est idéale pour convertir des types de fichiers, créer des miniatures, effectuer des analyses de données et réaliser d’autres opérations. Par exemple, les clients utilisent les événements S3 et les fonctions Lambda pour créer des versions basse résolution et de plus petite taille de photographies brutes lorsque les images sont d’abord téléchargées sur S3. S3 Batch Operations complète ces flux de travail existants basés sur des événements en proposant un mécanisme simple pour réaliser les mêmes actions sur vos objets existants également.
Fonctionnement : S3 Batch Operations
Pour réaliser un travail dans S3 Batch Operations, vous devez créer une tâche. La tâche comprend la liste des objets, l’action à réaliser, et l’ensemble des paramètres que vous spécifiez pour ce type d’opération. Vous pouvez créer et exécuter plusieurs tâches à la fois dans S3 Batch Operations ou utiliser des priorités de tâches selon les besoins pour définir la préséance de chaque tâche et vous assurer que le travail le plus critique est effectué en premier. S3 Batch Operations gère également les tentatives, suit la progression, envoie des notifications d’achèvement, génère des rapports et transmet des événements à AWS CloudTrail pour toutes les modifications apportées et les tâches exécutées.
Tutoriel S3 Batch Operations
Clients
Teespring a été fondé en 2011 et permet aux utilisateurs de créer et de vendre en ligne des produits personnalisés à la demande. Comme chaque marchandise personnalisée nécessite plusieurs actifs au sein de Teespring, ils stockent des pétaoctets de données dans Amazon S3.
« Amazon S3 Batch Operations nous a aidés à optimiser notre stockage en utilisant la classe de stockage Glacier d’Amazon S3. Nous avons utilisé nos propres métadonnées de stockage pour créer des lots d’objets que nous avons pu déplacer vers Amazon S3 Glacier. Avec Amazon S3 Glacier nous avons économisé plus de 80 % de nos coûts de stockage. Nous sommes toujours à la recherche d’opportunités pour automatiser la gestion du stockage, et avec S3 Batch Operations, nous pouvons gérer des millions d’objets en quelques minutes. »
James Brady, vice-président de Teespring
Capital One est une banque fondée à l’intersection de la finance et de la technologie et l’une des marques les plus reconnues en Amérique.
Capital One a utilisé Amazon S3 Batch Operations pour copier des données entre deux régions AWS afin d’augmenter la redondance de leurs données et de standardiser leur empreinte de données entre ces deux emplacements.
« Avec Amazon S3 Batch Operations, nous avons créé une tâche permettant de copier des millions d’objets en quelques heures, un travail qui aurait habituellement pris des mois à être réalisé. Nous avons utilisé le rapport d’inventaire d’Amazon S3, qui nous a donné une liste d’objets dans notre compartiment, comme entrée pour notre tâche Amazon S3 Batch Operations. Amazon S3 a joué un rôle essentiel dans la copie des données, fournissant des mises à jour de progression et un rapport d’audit une fois la tâche terminée. Cette fonction a permis à notre équipe d’économiser des semaines d’efforts manuels et a transformé ce transfert de données à grande échelle en quelque chose de routinier. »
Franz Zemen, vice-président et ingénieur logiciel de Capital One
ePlus, partenaire consultant AWS de niveau avancé, travaille avec les clients pour optimiser leurs environnements informatiques et utilise des solutions comme S3 Batch Operations, pour faire gagner du temps et de l’argent aux clients.
« S3 Batch Operations est tout simplement incroyable. Cette fonction a non seulement aidé l’un de nos clients à réduire le temps, la complexité et la corvée de rassembler une large sélection d’opérations S3, de planifier les tâches, puis de rendre les informations dans un tableau de bord facile à utiliser, mais également à résoudre des cas d’utilisation décourageants qu’à mon avis nous n’aurions pas pu résoudre dans la fraction de seconde qu’il a fallu à S3 Batch Operations pour le faire.
S3 Batch Operations a, par exemple, réussi à copier rapidement plus de 2 millions d’objets entre les régions d’un même compte tout en conservant les métadonnées intactes. La solution a fonctionné de manière transparente en effectuant des tâches similaires sur plusieurs comptes et a, surtout, généré un rapport d’achèvement qui a automatiquement passé au crible et séparé les opérations réussies de celles qui ont échoué parmi 400 millions d’objets, ce qui a permis de simplifier le traitement des opérations échouées dans un seul fichier. »
David Lin, architecte de solutions sénior et professionnel certifié AWS chez ePlus
Billets de blog S3 Batch Operations
Blog AWS News
Amazon S3 Batch Operations
Amazon S3 Batch Operations peut être utilisé pour traiter facilement des centaines, des millions voire des milliards d’objets S3 de manière simple et directe. Vous pouvez copier des objets vers un autre compartiment, configurer des balises ou des listes de contrôle d’accès (ACL), lancer une restauration depuis S3 Glacier, ou appeler une fonction AWS Lambda sur chacun d’entre eux.
Blog AWS Storage
Chiffrement d’objets avec S3 Batch Operations
Ce billet montre comment créer une liste d’objets, filtrer pour n’inclure que les objets non chiffrés, configurer des autorisations et réaliser une tâche S3 Batch Operations pour chiffrer vos objets. Le chiffrement d’objets existants est l’une des nombreuses façons d’utiliser S3 Batch Operations pour gérer vos objets Amazon S3.
Blog AWS Storage
Le transcodage de fichiers vidéo avec S3 Batch Operations
Ce billet revient sur l’utilisation de S3 Batch Operations pour déclencher une tâche de transcodage de vidéo en utilisant AWS Lambda, soit à partir d’une vidéo stockée dans S3, soit d’une vidéo nécessitant une restauration provenant d’Amazon S3 Glacier.
Découvrez comment démarrer et les bonnes pratiques.
Commencez à créer avec Amazon S3 dans AWS Management Console.