Opérations par lot Amazon S3
Gérez des dizaines, voire des milliards d’objets à grande échelle
Opérations par lot S3 est une fonction de gestion des données d’Amazon S3 qui vous permet de gérer des milliards d’objets à grande échelle en seulement quelques clics dans la console de gestion Amazon S3 ou avec une seule demande d’API. Avec cette fonction, vous pouvez modifier les métadonnées et les propriétés des objets ou effectuer d’autres tâches de gestion du stockage comme copier ou répliquer des objets entre des compartiments, remplacer des ensembles de balises d’objets, modifier des contrôles d’accès et restaurer des objets archivés depuis la classe de stockage S3 Glacier, plutôt que de consacrer plusieurs mois à développer des applications personnalisées pour effectuer ces tâches.
Opérations par lot S3
Opérations par lot S3 est une solution gérée pour réaliser des actions de stockage telles que la copie et le balisage d’objets à grande échelle, que ce soit pour des tâches ponctuelles ou pour des charges de travail récurrentes et par lot. Opérations par lot S3 peut réaliser des actions sur des milliards d’objets et des pétaoctets de données avec une seule requête. Pour réaliser un travail dans Opérations par lot S3, vous devez créer une tâche. La tâche comprend la liste des objets, l’action à réaliser, et l’ensemble des paramètres que vous spécifiez pour ce type d’opération. Vous pouvez créer et exécuter plusieurs tâches à la fois dans Opérations par lot S3 ou utiliser des priorités de tâches selon les besoins pour définir la préséance de chaque tâche et vous assurer que le travail le plus critique est effectué en premier. Opérations par lot S3 gère également les tentatives, suit la progression, envoie des notifications d’achèvement, génère des rapports et transmet des événements à AWS CloudTrail pour toutes les modifications apportées et les tâches exécutées.
Opérations par lot S3 complète toute architecture basée sur des événements que vous pouvez utiliser aujourd’hui. Pour les nouveaux objets, l’utilisation des événements S3 et des fonctions Lambda est idéale pour convertir des types de fichiers, créer des miniatures, effectuer des analyses de données et réaliser d’autres opérations. Par exemple, les clients utilisent les événements S3 et les fonctions Lambda pour créer des versions basse résolution et de plus petite taille de photographies brutes lorsque les images sont d’abord téléchargées sur S3. Opérations par lot S3 complète ces flux de travail existants basés sur des événements en proposant un mécanisme simple pour réaliser les mêmes actions sur vos objets existants également.
Fonctionnement : Opérations par lot S3
Tutoriel Opérations par lot S3
Teespring
Teespring a été fondé en 2011 et permet aux utilisateurs de créer et de vendre en ligne des produits personnalisés à la demande. Comme chaque marchandise personnalisée nécessite plusieurs actifs au sein de Teespring, ils stockent des pétaoctets de données dans Amazon S3.
« Opérations par lot Amazon S3 nous a aidés à optimiser notre stockage en utilisant la classe de stockage Glacier d’Amazon S3. Nous avons utilisé nos propres métadonnées de stockage pour créer des lots d’objets que nous avons pu déplacer vers Amazon S3 Glacier. Avec Amazon S3 Glacier nous avons économisé plus de 80 % de nos coûts de stockage. Nous sommes toujours à la recherche d’opportunités pour automatiser la gestion du stockage, et avec Opérations par lot S3, nous pouvons gérer des millions d’objets en quelques minutes. »
James Brady, vice-président de Teespring
Capital One
Capital One est une banque fondée à l’intersection de la finance et de la technologie et l’une des marques les plus reconnues en Amérique. Capital One a utilisé Opérations par lot Amazon S3 pour copier des données entre deux régions AWS afin d’augmenter la redondance de leurs données et de standardiser leur empreinte de données entre ces deux emplacements.
« Avec Opérations par lot Amazon S3, nous avons créé une tâche permettant de copier des millions d’objets en quelques heures, un travail qui aurait habituellement pris des mois à être réalisé. Nous avons utilisé le rapport d’inventaire Amazon S3, qui nous a donné une liste d’objets dans notre compartiment, comme entrée pour notre tâche Opérations par lot Amazon S3. Amazon S3 a joué un rôle essentiel dans la copie des données, fournissant des mises à jour de progression et un rapport d’audit une fois la tâche terminée. Cette fonctionnalité a permis à notre équipe d’économiser des semaines d’efforts manuels et a transformé ce transfert de données à grande échelle en quelque chose de routinier. »
Franz Zemen, vice-président et ingénieur logiciel de Capital One
ePlus
ePlus, partenaire consultant AWS de niveau avancé, travaille avec les clients pour optimiser leurs environnements informatiques et utilise des solutions comme Opérations par lot S3, pour faire gagner du temps et de l’argent aux clients.
« Opérations par lot S3 est tout simplement incroyable. Cette fonction a non seulement aidé l’un de nos clients à réduire le temps, la complexité et la corvée de rassembler une large sélection d’opérations S3, de planifier les tâches, puis de rendre les informations dans un tableau de bord facile à utiliser, mais également à résoudre des cas d’utilisation décourageants qu’à mon avis nous n’aurions pas pu résoudre dans la fraction de seconde qu’il a fallu à Opérations par lot S3 pour le faire.
Opérations par lot S3 a, par exemple, réussi à copier rapidement plus de 2 millions d’objets entre les régions d’un même compte tout en conservant les métadonnées intactes. La solution a fonctionné de manière transparente en effectuant des tâches similaires sur plusieurs comptes, et a surtout généré un rapport d’achèvement qui a automatiquement passé au crible et séparé les opérations réussies de celles qui ont échoué parmi 400 millions d’objets, ce qui a permis de simplifier le traitement des opérations échouées dans un seul fichier. »
David Lin, Senior Solutions Architect & AWS Certified Professional - ePlus
