Gérez des dizaines, voire des milliards d'objets à grande échelle
S3 Batch Operations est une fonction de gestion des données d'Amazon S3 qui vous permet de gérer des milliards d'objets à grande échelle en seulement quelques clics dans la console de gestion Amazon S3 ou avec une seule demande d'API. Avec cette fonction, vous pouvez modifier les métadonnées et les propriétés des objets ou effectuer d'autres tâches de gestion du stockage comme copier ou répliquer des objets entre des compartiments, remplacer des ensembles de balises d'objets, modifier des contrôles d'accès et restaurer des objets archivés depuis S3 Glacier, plutôt que de consacrer plusieurs mois à développer des applications personnalisées pour effectuer ces tâches.
S3 Batch Operations
S3 Batch Operations est une solution gérée pour réaliser des actions de stockage telles que la copie et le balisage d’objets à grande échelle, que ce soit pour des tâches ponctuelles ou pour des charges de travail récurrentes et par lot. S3 Batch Operations peut réaliser des actions sur des milliards d’objets et des pétaoctets de données avec une seule requête. Pour réaliser un travail dans S3 Batch Operations, vous devez créer une tâche. La tâche comprend la liste des objets, l’action à réaliser, et l’ensemble des paramètres que vous spécifiez pour ce type d’opération. Vous pouvez créer et exécuter plusieurs tâches à la fois dans S3 Batch Operations ou utiliser des priorités de tâches selon les besoins pour définir la préséance de chaque tâche et vous assurer que le travail le plus critique est effectué en premier. S3 Batch Operations gère également les tentatives, suit la progression, envoie des notifications d’achèvement, génère des rapports et transmet des événements à AWS CloudTrail pour toutes les modifications apportées et les tâches exécutées.
S3 Batch Operations complète toute architecture basée sur des événements que vous pouvez utiliser aujourd’hui. Pour les nouveaux objets, l’utilisation des événements S3 et des fonctions Lambda est idéale pour convertir des types de fichiers, créer des miniatures, effectuer des analyses de données et réaliser d’autres opérations. Par exemple, les clients utilisent les événements S3 et les fonctions Lambda pour créer des versions basse résolution et de plus petite taille de photographies brutes lorsque les images sont d’abord téléchargées sur S3. S3 Batch Operations complète ces flux de travail existants basés sur des événements en proposant un mécanisme simple pour réaliser les mêmes actions sur vos objets existants également.
Fonctionnement : S3 Batch Operations
Pour réaliser un travail dans S3 Batch Operations, vous devez créer une tâche. La tâche comprend la liste des objets, l’action à réaliser, et l’ensemble des paramètres que vous spécifiez pour ce type d’opération. Vous pouvez créer et exécuter plusieurs tâches à la fois dans S3 Batch Operations ou utiliser des priorités de tâches selon les besoins pour définir la préséance de chaque tâche et vous assurer que le travail le plus critique est effectué en premier. S3 Batch Operations gère également les tentatives, suit la progression, envoie des notifications d’achèvement, génère des rapports et transmet des événements à AWS CloudTrail pour toutes les modifications apportées et les tâches exécutées.
Tutoriel S3 Batch Operations
Clients
-
Teespring
Teespring a été fondé en 2011 et permet aux utilisateurs de créer et de vendre en ligne des produits personnalisés à la demande. Comme chaque marchandise personnalisée nécessite plusieurs actifs au sein de Teespring, ils stockent des pétaoctets de données dans Amazon S3.
Opérations par lot Amazon S3 nous a aidés à optimiser notre stockage en utilisant la classe de stockage Glacier d'Amazon S3. Nous avons utilisé nos propres métadonnées de stockage pour créer des lots d’objets que nous avons pu déplacer vers Amazon S3 Glacier. Avec Amazon S3 Glacier nous avons économisé plus de 80 % de nos coûts de stockage. Nous sommes toujours à la recherche d’opportunités pour automatiser la gestion du stockage, et avec le opérations par lot de S3, nous pouvons gérer des millions d’objets en quelques minutes.
James Brady, vice-président de Teespring -
Capital One
Capital One est une banque fondée à l’intersection de la finance et de la technologie et l’une des marques les plus reconnues en Amérique. Capital One a utilisé Amazon S3 Batch Operations pour copier des données entre deux régions AWS afin d’augmenter la redondance de leurs données et de standardiser leur empreinte de données entre ces deux emplacements.
Avec Opérations par lot Amazon S3, nous avons créé une tâche permettant de copier des millions d’objets en quelques heures, un travail qui aurait habituellement pris des mois à être réalisé. Nous avons utilisé le rapport d’inventaire d’Amazon S3, qui nous a donné une liste d’objets dans notre compartiment, comme entrée pour notre tâche Amazon S3 Batch Operations. Amazon S3 a joué un rôle essentiel dans la copie des données, fournissant des mises à jour de progression et un rapport d’audit une fois la tâche terminée. Cette fonctionnalité a permis à notre équipe d’économiser des semaines d’efforts manuels et a transformé ce transfert de données à grande échelle en quelque chose de routinier.
Franz Zemen, vice-président et ingénieur logiciel de Capital One -
ePlus
ePlus, partenaire consultant AWS de niveau avancé, travaille avec les clients pour optimiser leurs environnements informatiques et utilise des solutions comme S3 Batch Operations, pour faire gagner du temps et de l’argent aux clients.
S3 Batch Operations est tout simplement incroyable. Cette fonction a non seulement aidé l’un de nos clients à réduire le temps, la complexité et la corvée de rassembler une large sélection d’opérations S3, de planifier les tâches, puis de rendre les informations dans un tableau de bord facile à utiliser, mais également à résoudre des cas d’utilisation décourageants qu’à mon avis nous n’aurions pas pu résoudre dans la fraction de seconde qu’il a fallu à S3 Batch Operations pour le faire.
S3 Batch Operations a, par exemple, réussi à copier rapidement plus de 2 millions d’objets entre les régions d’un même compte tout en conservant les métadonnées intactes. La solution a fonctionné de manière transparente en effectuant des tâches similaires sur plusieurs comptes, et a surtout généré un rapport d’achèvement qui a automatiquement passé au crible et séparé les opérations réussies de celles qui ont échoué parmi 400 millions d’objets, ce qui a permis de simplifier le traitement des opérations échouées dans un seul fichier.David Lin, Senior Solutions Architect & AWS Certified Professional - ePlus