Amazon S3 Storage Lens
Übersicht
S3 Storage Lens bietet unternehmensweite Transparenz in Bezug auf die Nutzung von Objektspeichern und Aktivitätstrends und gibt praktikable Empfehlungen zur Kostenoptimierung, Verbesserung der Anwendungsleistung und Stärkung des Datenschutzes. S3 Storage Lens ist die erste Cloud-Speicher-Analytiklösung, die einen einheitlichen Überblick über die Nutzung und Aktivität von Objektspeichern über Tausende von Konten in einem Unternehmen hinweg bietet, mit Detailansichten, um Erkenntnisse auf mehreren Aggregationsebenen zu generieren. Auf der Grundlage jahrelanger Erfahrung in der Unterstützung von Kunden bei der Optimierung ihrer Speicherkapazitäten analysiert S3 Storage Lens unternehmensweite Kennzahlen und liefert darauf basierend kontextbezogene Empfehlungen, mit denen sich sofortige Maßnahmen leicht umsetzen lassen.
Amazon S3 wird zum Speichern großer gemeinsamer Datensätze über Tausende von Konten und Buckets, mehrere Regionen und Milliarden von Präfixen hinweg verwendet. Mit S3 Storage Lens können Sie Ihren Speicher leicht verstehen und analysieren, um Anomalien zu erkennen. S3 Storage Lens liefert eine Vielzahl kostenloser und erweiterter Metriken über die Nutzung und Aktivität des S3-Speichers an ein interaktives Dashboard in der S3-Konsole. Kostenlose Metriken stehen allen Kunden kostenlos zur Verfügung. Erweiterte Metriken können gegen eine monatliche Gebühr pro Objekt aktiviert werden, um zusätzliche Metriken, Einblicke auf Präfixebene, benutzerdefinierte Metadatenfilterung, erweiterte Datenaufbewahrung und die Option zur Veröffentlichung von Metriken in Amazon CloudWatch zu erhalten. Preisdetails für erweiterte Metriken finden Sie auf der Preisseite für Amazon S3.
So funktioniert S3 Storage Lens
Alle Kunden von Amazon S3 können in der S3-Konsole auf ein interaktives S3-Storage-Lens-Dashboard zugreifen, welches vorkonfigurierte Ansichten zur Visualisierung der Speichernutzung und Aktivitätstrends enthält. Mit den kostenlosen Metriken von S3 Storage Lens erhalten Sie 62 Metriken (eindeutige und abgeleitete) aus unterschiedlichen Kategorien auf Bucket-Ebene sowie historische Daten aus 14 Tagen im Dashboard. Sie können Ihr Dashboard nach Zusammenfassung, Kostenoptimierung, Datenschutz, Zugriffsmanagement, Leistung oder Ereignissen filtern, um spezifische Kennzahlen für Ihre geplanten Anwendungsfälle zu analysieren. Zusätzlich zum Dashboard in der S3-Konsole können Sie Metriken im CSV- oder Parquetformat zur weiteren Verwendung in einen S3-Bucket ihrer Wahl exportieren. Um mehr über S3 Storage Lens zu erfahren, lesen Sie die Dokumentation.
Vorteile eines Upgrades auf erweiterte Metriken von Storage Lens
Erweiterte Metriken bieten Einblicke in Aktivitäten (beispielsweise Anzahl der Anfragen), tiefgreifendere Kostenoptimierung (beispielsweise Anzahl der S3-Lebenszyklusregeln), erweiterte Leistungsmetriken (beispielsweise Anzahl der Objekte und Anfragen), zusätzlichen Datenschutz (beispielsweise Anzahl der S3-Replikationsregeln) und detaillierte Statuscodes (beispielsweise 403-Autorisierungsfehler).
Mithilfe von Metriken auf Präfixebene können Sie detaillierte Informationen zu den Präfixen in Ihrem Bucket erhalten, sodass Sie Einblick in die Speicher- und Nutzungsaktivitäten von Milliarden von Präfixen pro Bucket erhalten. Sehen Sie sich Kennzahlen für jedes Präfix an und optimieren Sie Ihren Speicher effizienter.
Mit den erweiterten Metriken von Storage Lens erhalten Sie Einblicke, welche auf historischen Daten aus 15 Monaten basieren. Für den optionalen Export von Metriken können Sie einen beliebigen Aufbewahrungszeitraum konfigurieren.
Mit den erweiterten Metriken von Storage Lens können Sie über Amazon CloudWatch auf S3-Storage-Lens-Metriken zugreifen, um Alarme zu erstellen, oder über die CloudWatch-API Metriken an integrierte Beobachtbarkeitspartner senden.
Mit Storage-Lens-Gruppen können Sie Metriken anzeigen, die nach Objekt-Tag, Präfix, Suffix, Alter oder Größe gefiltert sind. Sie können beispielsweise Metriken nach Objekt-Tags filtern, um Ihre am schnellsten wachsenden Datensätze zu identifizieren, oder Ihren Speicher auf der Grundlage von Objektgröße und Alter visualisieren, um Ihre Speicherarchivstrategie zu optimieren.
Benutzerdefinierte Filter mit Storage-Lens-Gruppen erstellen
Storage-Lens-Gruppen aggregieren Metriken mithilfe benutzerdefinierter Filter, welche auf Objektmetadaten basieren. Mithilfe von Storage-Lens-Gruppen können Sie die Merkmale Ihrer Daten genauer untersuchen, z. B. die Verteilung von Objekten nach Alter, Ihren gängigsten Dateitypen und mehr. Diese Informationen helfen Ihnen, Ihren S3-Speicher besser zu verstehen und zu optimieren. Mit Storage-Lens-Gruppen können Sie Metriken anzeigen, die nach Objekt-Tag, Präfix, Suffix, Alter oder Größe gefiltert sind. Sie können beispielsweise Metriken nach Objekt-Tags filtern, um Ihre am schnellsten wachsenden Datensätze zu identifizieren, oder Ihren Speicher auf der Grundlage von Objektgröße und Alter visualisieren, um Ihre Speicherarchivstrategie zu optimieren. Zu Beginn können Sie Storage-Lens-Gruppen über die S3-Konsole, die CLI oder das SDK erstellen und sie an Ihre Storage-Lens-Dashboards anhängen. Weitere Informationen finden Sie in der Dokumentation.
Upstox
Upstox ist ein führender indischer Discount-Broker, der mehr als 11 Millionen Kunden finanzielle Bildung und eine digitale Plattform für Investitionen bietet.
„Der Weg nach Vorne besteht darin, weiterhin Amazon S3 Storage Lens zu verwenden, um unsere Speichernutzung genauer zu verfolgen und die Kosteneffizienz weiter zu verbessern. Mit dem interaktiven Dashboard von S3 Storage Lens können wir die S3-Präfix-Hotspots, an denen die Kosten steigen, leicht ausfindig machen und sie mit den richtigen Aufbewahrungsrichtlinien und der S3-Speicherklasse optimieren, um die Kosteneffizienz weiter zu verbessern.“
Indranil Chandra, Principal ML & Data Engineer bei Upstox
Das Fallbeispiel lesen »
Pinterest ist eine visuelle Erkundungsmaschine, die mehr als 400 Millionen Menschen jeden Monat nutzen, um Inspirationen für ihr Leben zu finden.
„S3 Storage Lens wird unseren Überblick über unsere Speichernutzung verbessern und uns helfen, unsere Speicherkosten kontinuierlich zu optimieren. Wir verwenden die unternehmensweite Ansicht, um die aggregierte Speichernutzung für unsere Teams in mehreren Regionen zu sehen, und brechen es dann herunter, um das Speicherwachstum auf Bucket- oder sogar Präfixebene zu verstehen.
Mithilfe von S3 Storage Lens können wir dann unterschiedliche Dashboards für verschiedene interne Teams erstellen, sodass diese selbst nach Möglichkeiten suchen, die Speicherkosten zu optimieren, indem sie eine Lifecyle-Richtlinie anwenden oder Daten auf eine kostengünstigere Speicherklasse umstellen.“
Yi Yin, Software Engineer bei Pinterest
Snowflake
Snowflake liefert die Data Cloud – ein globales Netzwerk, in dem Tausende von Unternehmen Daten mit nahezu unbegrenzter Skalierung, Gleichzeitigkeit und Leistung mobilisieren.
„Die Möglichkeit, Metriken auf der Grundlage von Präfixen zu verwenden, wird für uns von unschätzbarem Wert sein. Wir werden bessere Einblicke in die Verwendung bestimmter Präfixe erhalten, einschließlich des Gesamtspeichers, der Anzahl der Objekte, der durchschnittlichen Objektgröße und der Aufschlüsselung nach aktuellen und nicht aktuellen Versionen, was uns helfen kann, Fehler zu debuggen und Betriebstrends auf wirtschaftliche Weise zu erkennen. Dies war ohne S3 Storage Lens bisher nicht möglich.“
Ju-Yi Kuo, Senior Software Engineer - Snowflake
Veeva
Veeva Systems Inc. ist ein führender Anbieter von Cloud-Lösungen – einschließlich Daten, Software und Services – für die globale Life-Sciences-Branche.
„S3 Storage Lens ist sehr einfach einzurichten und zu konfigurieren. Wir erhielten gute Einblicke in unsere S3-Nutzung, was es uns ermöglichte, Aktionspläne zur Kostenoptimierung in S3 umzusetzen. Wir sparen jetzt Tausende von Dollar pro Monat, indem wir die Speicherung von Objekten in S3 optimieren.“
Dan Soble, Vice President of Technical Operations bei Veeva
Dropsuite
Dropsuite hilft Unternehmen in 139 Ländern dabei, ihre wichtigen Geschäftsinformationen einfach zu sichern, wiederherzustellen und zu schützen. Die E-Mail-Backup-Lösung sichert derzeit Unternehmensdaten von mehr als einer Million Einzelbenutzern.
„Mit S3 Storage Lens erhalten wir eine Makroansicht mit Filtern auf Bucket- und Regionsebene, was zu Diskussionen über transformative Architekturentwürfe führt. Wir nutzen die Erkenntnisse von S3 Storage Lens, um Komprimierungsalgorithmen zu analysieren, Speichermethoden zu untersuchen und Entscheidungen über das Entfernen und Verwalten von Daten für Kunden zu treffen. Ohne S3 Storage Lens hätten wir diese granularen Nutzungsdaten, die wir untersuchen, nicht visualisieren und nutzen können. Außerdem erhalten wir dadurch Einblick in die Datennutzungsmuster unserer Kunden. Mit diesen wertvollen Informationen, die uns jetzt zur Verfügung stehen, konnten wir Amazon-S3-Speicherklassen effektiver nutzen.“
Manjor Kalyanaraman, Chief Technology Officer bei Dropsuite
Das Fallbeispiel lesen »
DoorDash
DoorDash verbindet Verbraucher mit ihren bevorzugten lokalen Unternehmen in mehr als 25 Ländern auf der ganzen Welt. DoorDash ist ein in der Cloud geborenes Unternehmen und hostet den Großteil seiner Infrastruktur, einschließlich seiner Handelsplattform, in AWS.
„Nachdem wir beschlossen hatten, unsere Nutzung von Amazon S3 eingehender zu untersuchen, um Effizienzmöglichkeiten für zukünftiges Wachstum zu identifizieren, begannen wir mit unserer Untersuchung mithilfe von S3 Storage Lens mit den erweiterten Metriken und Empfehlungen. Die Speichernutzung und Aktivitätsmuster auf der Ebene von S3-Buckets, Präfixen und Speicherklassen analysieren zu können, war für uns von unschätzbarem Wert, um Möglichkeiten zur Kostenoptimierung zu erkennen. Ohne S3 Storage Lens hätte es viel mehr Zeit in Anspruch genommen, die Nutzung von Amazon S3 zu untersuchen und zu visualisieren und die Wirtschaftlichkeit unserer Speichereinheiten zu verbessern.“
Levon Stepanian, Cloud FinOps Lead bei DoorDash
Blog lesen »
