Verwalten von zehn bis Milliarden von Objekten skaliert mit S3 Batch Operations
S3 Batch Operations ist ein Datenmanagementfunktion von Amazon S3, mit der Sie mit nur wenigen Klicks in der Amazon-S3-Managementkonsole oder einer einzigen API-Anforderung Milliarden von Objekten umfassend verwalten können. Mit dieser Funktion können Sie Änderungen an Objekt-Metadaten und -Eigenschaften vornehmen oder andere Speicherverwaltungsaufgaben ausführen, z. B. Objekte zwischen Buckets kopieren oder replizieren, Objekt-Tag-Sätze ersetzen, Zugriffskontrollen ändern und archivierte Objekte aus S3 Glacier wiederherstellen, statt monatelang benutzerdefinierte Anwendungen zu entwickeln, die diese Aufgaben ausführen können.
S3 Batch Operations
S3 Batch Operations ist eine verwaltete Lösung für Speicheraktionen wie das skalierte Kopieren und Taggen von Objekten, ob für einmalige Aufgaben oder wiederkehrende Stapel-Workloads. S3 Batch Operations kann mit nur einer Abfrage Aktionen über Milliarden von Objekten hinweg und für Petabytes an Daten durchführen. Um mit S3 Batch Operations zu arbeiten, erstellen Sie eine Aufgabe. Die Aufgabe enthält die Liste der Objekte, die durchzuführende Aktion und die Parameter, die für diese Vorgangsart angeben. Sie können in S3 Batch Operations mehrere Aufgaben gleichzeitig erstellen und ausführen oder Aufgabenprioritäten verwenden, um die Priorität jeder Aufgabe zu bestimmen und sicherzustellen, dass die wichtigste Arbeit zuerst durchgeführt wird. S3 Batch Operations verwaltet auch Neuversuche, verfolgt den Fortschritt, sendet Abschlussbenachrichtigungen, erzeugt Abschlussberichte und liefert Ereignisse an AWS CloudTrail - für alle vorgenommenen Änderungen und ausgeführten Aufgaben.
S3 Batch Operations ergänzt ereignisgetriebene Architekturen, die Sie aktuell betreiben. Bei neuen Objekten können S3-Ereignisse und Lambda-Funktionen verwendet werden, um Dateitypen umzuwandeln, Vorschaubilder zu erstellen, Datenscans und andere Vorgänge durchzuführen. Zum Beispiel verwenden Kunden S3-Ereignisse und Lambda-Funktionen, um kleinere, niedrig aufgelöste Versionen von unbearbeiteten Fotos zu erstellen, wenn Bilder das erste Mal auf S3 hochgeladen werden. S3 Batch Operations ergänzt diese bestehenden ereignisgetriebenen Workflows durch einen einfachen Mechanismus zum Durchführen der gleichen Aktionen für Ihre bestehenden Objekte.
So funktioniert es: S3 Batch Operations
Um mit S3 Batch Operations zu arbeiten, erstellen Sie eine Aufgabe. Die Aufgabe enthält die Liste der Objekte, die durchzuführende Aktion und die Parameter, die für diese Vorgangsart angeben. Sie können in S3 Batch Operations mehrere Aufgaben gleichzeitig erstellen und ausführen oder Aufgabenprioritäten verwenden, um die Priorität jeder Aufgabe zu bestimmen und sicherzustellen, dass die wichtigste Arbeit zuerst durchgeführt wird. S3 Batch Operations verwaltet auch Neuversuche, verfolgt den Fortschritt, sendet Abschlussbenachrichtigungen, erzeugt Abschlussberichte und liefert Ereignisse an AWS CloudTrail - für alle vorgenommenen Änderungen und ausgeführten Aufgaben.
S3 Batch Operations – Anleitung
Kunden
Tesspring wurde 2011 gegründet und ermöglicht es Benutzern, online individuelle On-Demand-Produkte zu erstellen und zu verkaufen. Da jeder individualisierte Artikel mehrere Assets in Teespring erfordert, speichert das Unternehmen Petabytes an Daten in Amazon S3.
„Amazon S3 Batch Operations half uns durch die Nutzung der Glacier-Speicherklasse von Amazon S3, unseren Speicher zu optimieren. Wir haben unsere eigenen Speicher-Metadaten verwendet, um Objektstapel zu erstellen, die wir auf Amazon S3 Glacier verschieben können. Mit Amazon S3 Glacier haben wir mehr als 80 % unserer Speicherkosten sparen können.“ Wir suchen stets nach Chancen, Speichermanagement zu automatisieren und mit S3 Batch Operations können wir Millionen von Objekten in Minuten verwalten.“
James Brady, VP of Engineering - Teespring
Capital One ist eine Bank auf der Kreuzung zwischen Finanzwesen und Technologie und gehört zu den bekanntesten Marken Amerikas.
Capital One verwendete Amazon S3 Batch Operations, um Daten zwischen zwei AWS-Regionen zu kopieren. So konnte die Datenredundanz gesteigert und der Daten-Footprint zwischen den beiden Standorten standardisiert werden.
„Mit Amazon S3 Batch Operations erstellten wir eine Aufgabe zum Kopieren von Millionen Objekten in Stunden. Diese Arbeit nahm früher Monate in Anspruch. Wir verwendeten den Inventarbericht von Amazon S3, der eine Liste von Objekten in unserem Bucket erstellte, als Eingabe für die Amazon S3 Batch Operations-Aufgabe. Amazon S3 spielte eine wichtige Rolle beim Kopieren der Daten, Anzeigen von Fortschrittsaktualisierungen und Bereitstellen eines Audit-Berichts nach Abschluss der Aufgabe. Mit dieser Funktion sparte unser Team Wochen manuellen Aufwand und verwandelte diesen großen Datentransfer in Routinearbeit.“
Franz Zemen, Vice President, Software Engineering - Capital One
ePlus, ein AWS Advanced Consulting Partner, arbeitet mit Kunden an der Optimierung ihrer IT-Umgebungen und verwendet Lösungen wie S3 Batch Operations, um Kunden Zeit und Geld zu sparen.
„S3 Batch Operations ist einfach großartig. Es half nicht nur einem unserer Kunden, Zeit, Komplexität und Aufwand bei der Kombination verschiedener S3-Vorgänge, dem Planen von Aufgaben und dem Rendern von Informationen in einem benutzerfreundlichen Dashboard - es half auch bei der Bewältigung herausfordernder Einsatzszenarien, die wir dank S3 Batch Operations in einem Bruchteil der Zeit angehen konnten.
Zum Beispiel machte S3 Batch Operations das Kopieren von über 2 Millionen Objekten über Regionen mit dem gleichen Konto und unter Beibehaltung der Metadaten zum Kinderspiel. Die Lösung funktionierte nahtlos beim Ausführen ähnlicher Funktionen über mehrere Konten hinweg und erzeugte einen Abschlussbericht, der erfolgreiche und fehlgeschlagene Vorgänge unter 400 Millionen Objekten aufgliederte. So konnten die fehlgeschlagenen Vorgänge einfacher in einer einzigen Datei verarbeitet werden.“
David Lin, Senior Solutions Architect & AWS Certified Professional - ePlus
S3 Batch Operations - Blog-Beiträge
AWS News Blog
Amazon S3 Batch Operations
Amazon S3 Batch Operations kann verwendet werden, um leicht hunderte, Millionen oder Milliarden an S3-Objekten zu verarbeiten. Sie können Objekte in ein anderes Bucket kopieren, Tags festlegen oder Zugriffskontrollliste (ACLs) verwenden, eine Wiederherstellung über S3 Glacier initiieren oder eine AWS Lambda-Funktion dabei aufrufen.
AWS Storage Blog
Verschlüsseln von Objekten mit S3 Batch Operations
Dieser Beitrag zeigt, wie Sie eine Liste von Objekten erstellen, diese nur nach unverschlüsselten Objekten filtern, Berechtigungen einrichten und eine S3 Batch Operations-Aufgabe durchführen, um Ihre Objekte zu verschlüsseln. Das Verschlüsseln bestehender Objekte ist einer der vielen Wege, wie Sie S3 Batch Operations zum Verwalten Ihrer Amazon S3-Objekte verwenden können.
AWS Storage Blog
Transkodieren von Videodateien mit S3 Batch Operations
Dieser Beitrag erläutert, wie Sie S3 Batch Operations zum Auslösen einer Videotranskodierungsaufgabe mittels AWS Lambda verwenden, entweder für auf S3 gespeicherte Videoinhalte oder Videoinhalte, die eine Wiederherstellung von Amazon S3 Glacier erfordern.
Erfahren Sie, wie Sie einsteigen und welche die besten Vorgehensweisen sind.
Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent.
Beginnen Sie mit dem Erstellen mit Amazon S3 in der AWS-Managementkonsole.