Optimieren Ihrer AWS-Infrastruktur für Nachhaltigkeit, Teil II: Speicher

von Katja Philipp, Aleena Yunus, Otis Antoniou, Ceren Tahtasiz und Lars Reimann; übersetzt durch Lars Reimann

In Teil I dieser Reihe stellten wir Ihnen Strategien vor, um die Datenverarbeitungsschicht ihrer AWS-Architektur auf Nachhaltigkeit zu optimieren. Wir haben Erfolgsfaktoren, Metriken und Architekturkonzepte zur Verfügung gestellt, welche die Energieeffizienz der Workloads erhöhen können.

In diesem Blogartikel liegt der Fokus auf der Optimierung der Speicherschicht Ihrer AWS-Infrastruktur mit entsprechenden Empfehlungen, wie Daten auf nachhaltige Art und Weise gespeichert werden können.

Speicherschicht Ihrer AWS-Infrastruktur optimieren

Beim Optimieren von Speicher kommt dem Lebenszyklus der Daten und die Auswahl von passenden Speicherklassen eine zentrale Bedeutung zu. Wenn Sie verschiedene Arten der Speicherung evaluieren, sollten Sie stets zwischen Effizienz der Ressourcen, Zugriffslatenz und Verlässlichkeit abwägen. Sie wählen dann anhand dieser Anforderungen und Zugriffsmuster die passende Speicherverwaltung aus.

Des Weiteren unterstützt Sie die Säule „Nachhaltigkeit“ – AWS-Well-Architected-Framework die Nachhaltigkeitsziele für Ihre AWS-Workloads zu erreichen. Allgemein hilft Ihnen das Framework, bewährte Architekturmethoden für den Entwurf und Betrieb zuverlässiger, sicherer, effizienter, kostengünstiger und nachhaltiger Workloads in der AWS Cloud zu ermitteln. Das AWS Well-Architected Tool, das kostenlos in der AWS-Managementkonsole verfügbar ist, bietet einen Mechanismus zur regelmäßigen Bewertung von Workloads, zur Erkennung von Problemen mit hohem Risiko und zur Aufzeichnung von Verbesserungen. Die Säule „Nachhaltigkeit“ stellt bewährte Verfahren vor, mit denen Sie die Auswirkungen Ihrer Workloads minimieren können, indem Sie die Gesamtressourcen, die für den Betrieb in AWS-Rechenzentren erforderlich sind, reduzieren.

Ungenutzte Ressourcen reduzieren und Maximierung der Auslastung

Die effiziente Speicherung und der effiziente Zugriff auf Daten sowie die Reduzierung ungenutzter Speicherressourcen führen allgemein zu einer effizienteren und nachhaltigeren Architektur. Amazon CloudWatch bietet Speichermetriken, die zur Bewertung von Speicherverbesserungen verwendet werden können, wie in der folgenden Tabelle aufgeführt.

Sie können diese Metriken mit der Architektur aus Abbildung 1 überwachen. Amazon CloudWatch bietet einen einheitlichen Überblick über die Metriken Ihrer Ressourcen.

Abbildung 1: Amazon CloudWatch überwacht Ihre Speicherressourcen

In den folgenden Abschnitten stellen wir vier Konzepte vor um ungenutzte Ressourcen Ihrer Speicherungsschicht zu minimieren und die Auslastung zu maximieren.

Zugriffsmustern und die Verwendung von Speicherklassen analysieren

Die Auswahl und Optimierung Ihrer Speichertechnologien auf der Grundlage von Zugriffs- und Speichermustern hilft Ihnen, die erforderlichen Cloud-Ressourcen zu reduzieren, um Ihre Geschäftsanforderungen zu erfüllen und die Gesamteffizienz des Cloud-Workloads zu verbessern.

• Um Ihren CO2-Fußabdruck in punkto Speicher zu optimieren, sollten flüchtige Daten nicht auf einer Speichertechnologie persistiert werden, welche für effiziente Langzeitspeicherung ausgelegt ist. Zudem sollte stets der gesamte Lebenszyklus einer zu speichernden Ressource betrachtet werden. Zum Beispiel sollten Daten, welche sich über die Zeit nur langsam oder gar nicht ändern auf einer magnetischen Speichertechnologie abgelegt werden (im Gegensatz zu Festkörperspeicher bzw. Solid-State-Drive (SSD)). Um Daten zu archivieren oder zu speichern, welche sich nur langsam ändern, ziehen Sie Amazon EFS Infrequent Access, kalte Amazon-EBS-HDD-Volumes und Amazon S3 Glacier in Betracht.
• Um Daten während ihrer gesamten Lebensdauer effizient zu speichern, konfigurieren Sie Lebenszyklusrichtlinien, d. h. Regeln, die den Umgang mit den Datensätzen definieren. Diese Regeln konfigurieren Sie beispielsweise für Objekte in Amazon S3. Der Blogartikel „Expiring Amazon S3 Objects Based on Last Accessed Date to Decrease Costs“ zeigt, wie Sie benutzerdefinierte Regeln erstellen, um Objekte anhand ihres letzten Zugriffsdatums ablaufen zu lassen.
• Amazon Elastic File System unterstützt ebenfalls Lebenszyklusrichtlinien um Ihnen dabei zu helfen, die richtige Mischung aus Preis und Leistung für Dateien Ihrer Anwendung zu erzielen. Dateien, auf die während der Dauer der Lifecycle-Richtlinie (z. B. 30 Tage) nicht zugegriffen wird, werden automatisch von den Speicherklassen „EFS Standard“ oder „EFS One Zone“ in die entsprechende Speicherklasse für seltenen Zugriff („EFS Standard-IA“) überführt. Auf diese Weise können Sie bei Workloads mit wechselnden Zugriffsmustern von Preisen profitieren, die bis zu 92 % niedriger sind als die Preise für „EFS Standard“ oder „EFS One Zone“.
• Für Daten mit unbekannten oder sich verändernden Zugriffsmustern, benutzen Sie Amazon S3 Intelligent-Tiering. Dieser Dienst überwacht die Zugriffsmuster von Objekten und verschiebt diese automatisch in die entsprechende Speicherklasse. Sie müssen stets zwischen der Speichereffizienz, Zugriffslatenz und Verlässlichkeit abwägen. Abbildung 2 enthält einen Überblick über die verschiedenen Zugriffsmuster für Amazon S3 und die daraus resultierenden Speicherklassen. In der Klasse S3 One Zone-IA wird zum Beispiel weniger Serverkapazität und somit Energie verbraucht, da Daten nur innerhalb einer Verfügbarkeitszone (Availability Zone, AZ) gespeichert werden.

Abbildung 2: Zugriffsmuster für Amazon S3

Spaltenbasierte Datenformate und Kompression

Spaltenbasierte Datenformate, wie beispielsweise Parquet und ORC, benötigen weniger Speicherplatz als zeilenbasierte Datenformate wie z.B. CSV und JSON.

• Parquet verbraucht bis zu 6-mal weniger Speicherplatz in Amazon S3 als Textformate. Die Gründe hierfür sind Spaltenkompression, verschiedene Kodierungen und eine Komprimierung basierend auf Datentypen. Detailliert nachzulesen ist dies im Blogartikel, Top 10 Performance Tuning Tips for Amazon Athena.
• Durch Kompression, Partitionierung und Konvertierung Ihrer Daten in spaltenbasierte Datenformate können Sie die Performanz und somit auch die Kosten für Amazon Athena um 30% – 90% verbessern. Diese Verbesserung tritt ein, da durch die Verwendung von spaltenbasierten Datenformaten und Kompression die zu durchsuchenden Daten reduziert werden.

Reduzierung von unbenutztem Speicherplatz

Speichervolumes korrekt dimensionieren und löschen ungenutzter Volumes

Wie im Video „Cost Optimization on AWS“ gezeigt wird, lassen sich durch die richtige Dimensionierung des Speichers je nach Datentyp und Nutzung die damit verbundenen Kosten um bis zu 50 Prozent senken.

• Eine einfache Möglichkeit ungenutzte Speicherressourcen zu reduzieren, ist das Löschen von EBS-Volumes welche keiner EC2-Instanz zugewiesen sind. Wenn ungenutzte Volumes zu einem späteren Zeitpunkt wiederhergestellt werden sollen, können Sie vor dem Löschen einen Amazon EBS-Snapshot speichern.
• Sie können den Amazon Data Lifecycle Manager verwenden, um EBS-Snapshots und Amazon EBS-gestützte Amazon Machine Images (AMIs) automatisch aufzubewahren und zu löschen. Dadurch wird der Speicherplatzbedarf für ungenutzte Ressourcen weiter reduziert.
• Um eine übermäßige Bereitstellung von Volumes zu vermeiden, empfehlen wir den Blog-Artikel „Automating Amazon EBS Volume-resizing“. Darin wird ein automatisierter Ablauf gezeigt, der ein Volume jedes Mal erweitern kann, wenn es einen Kapazitätsschwellenwert erreicht. Diese elastischen Amazon EBS-Volumes erweitern den Speicherplatz bei Bedarf, wie im Blogbeitrag „Amazon EBS Update – New Elastic Volumes Change Everything“ beschrieben wird.
• Eine weitere Möglichkeit zur Optimierung des Blockspeichers besteht darin, Volumes zu identifizieren, die nicht hinreichend belegt sind, um diese dann anschließend zu verkleinern. Alternativ können Sie auch den Volume-Typ ändern, wie im Whitepaper „AWS Storage Optimization“ beschrieben.

Aufbewahrungsfrist von CloudWatch Logs optimieren

Standardmäßig werden CloudWatch-Logs auf unbestimmte Zeit aufbewahrt und laufen nicht ab. Sie können die Aufbewahrungsrichtlinie für jede Log-Gruppe auf einen Wert zwischen einem Tag und 10 Jahren einstellen. Für Daten mit Compliance-Anforderungen können Sie Log-Daten und in Amazon S3 exportieren und einen Archivierungsspeicher wie Amazon S3 Glacier verwenden.

Daten deduplizieren

Große Datensätze enthalten oft redundante Daten, was den Speicherbedarf erhöht.

• Wenn Sie die Datendeduplizierung für Ihren Amazon FSx für Windows File Server aktivieren, optimieren Sie die Effizienz der Datenspeicherung. Bei gewöhnlichen Dateifreigaben kann der Speicherplatz durch Deduplizierung um 50-60 Prozent reduziert werden.
• Wenn Sie Daten in Amazon S3 speichern, können Sie mit Hilfe der AWS Lake Formation FindMatches-Transformation automatisch Duplikate beseitigen. Weitere Informationen zum Einrichten finden Sie im Blogbeitrag „Integrate and deduplicate datasets using AWS Lake Formation FindMatches“.

Fazit

In diesem Blogbeitrag haben wir Techniken zur Datenspeicherung aufgezeigt, mit denen Sie Ihre Speichereffizienz steigern können. Dazu gehören die richtige Dimensionierung von Speichervolumes, die Auswahl von Speicherklassen in Abhängigkeit von verschiedenen Datenzugriffsmustern, sowie die Komprimierung und Konvertierung von Daten.

Mit diesen Techniken können Sie Ihre AWS-Infrastruktur im Hinblick auf ökologische Nachhaltigkeit optimieren.

Dieser Blogbeitrag ist der zweite Beitrag dieser Serie, den ersten Teil der Serie finden Sie im folgenden Abschnitt verlinkt. Im nächsten Teil dieser Blogpost-Serie werden wir Ihnen zeigen, wie Sie den Netzwerkteil Ihrer IT-Infrastruktur für Nachhaltigkeit in der Cloud optimieren können!

Mehr erfahren

Blogartikel aus dieser Serie

• Optimieren Ihrer AWS-Infrastruktur für Nachhaltigkeit, Teil I: Datenverarbeitung
• Optimieren Ihrer AWS-Infrastruktur für Nachhaltigkeit, Teil III: Netzwerk
• Optimieren Ihrer AWS-Infrastruktur für Nachhaltigkeit, Teil IV: Datenbanken

Verwandte Informationen

• Säule „Nachhaltigkeit“ des AWS Well-Architected Frameworks
• AWS Architecture Monthly magazine, Sustainability issue, August 2021