Dieser Leitfaden zeigt einen automatisch konfigurierten Data Lake in AWS, der eine ereignisgesteuerte, skalierbare Serverless-Architektur verwendet. Er nutzt AWS Managed Services zum Erfassen, Speichern, Verarbeiten und Analysieren von Daten und bietet ein sicheres, flexibles und kostengünstiges Design mit angemessener Daten-Governance. Dieser Ansatz bietet im Vergleich zu herkömmlichen Datenmanagementsystemen eine höhere Agilität, Flexibilität und Zuverlässigkeit. Die gesamte Lösung ist als kodifizierte Anwendung unter Verwendung von Infrastructure as Code (IaC) und einer Pipeline von Continuous Integration, Continuous Delivery (CI/CD) aufgebaut.

Bitte beachten: [Haftungsausschluss]

Architekturdiagramm

[Beschreibung des Architekturdiagramms]

Architekturdiagramm als PDF herunterladen 

Erste Schritte

Diese Anleitung anwenden

Well-Architected-Säulen

Das AWS-Well-Architected-Framework hilft Ihnen, die Vor- und Nachteile der Entscheidungen zu verstehen, die Sie beim Aufbau von Systemen in der Cloud treffen. Die sechs Säulen des Frameworks ermöglichen es Ihnen, architektonische bewärhte Methoden für die Entwicklung und den Betrieb zuverlässiger, sicherer, effizienter, kostengünstiger und nachhaltiger Systeme zu erlernen. Mit dem AWS-Well-Architected-Tool, das kostenlos in der AWS-Managementkonsole verfügbar ist, können Sie Ihre Workloads anhand dieser bewährten Methoden überprüfen, indem Sie eine Reihe von Fragen für jede Säule beantworten.

Das obige Architekturdiagramm ist ein Beispiel für eine Lösung, die unter Berücksichtigung der bewährten Methoden von Well-Architected erstellt wurde. Um eine vollständige Well-Architected-Lösung zu erhalten, sollten Sie so viele bewährte Methoden von Well-Architected wie möglich befolgen.

  • Amazon CloudWatch bietet umfassende Einblicke in die Leistung und den Zustand durch Betriebsprotokollierung aller Architekturkomponenten. Verwenden Sie die Amazon-S3-Serverzugriffsprotokollierung, um detaillierte Aufzeichnungen der Anfragen an Ihren Data Lake zu verfolgen. So können Sie Sicherheits- und Zugriffsprüfungen durchführen und Ihre Amazon-S3-Abrechnung nachvollziehen. DynamoDB verfolgt akribisch den Status Ihrer Data-Lake-Pipeline-Aufträge, sodass Sie eventuell auftretende Fehler schnell identifizieren und beheben können.

    Whitepaper zur operativen Exzellenz lesen 

  • AWS Key Management Service (AWS KMS) schützt Ihren Data Lake, indem alle Daten im Ruhezustand mit vom Kunden verwalteten Schlüsseln verschlüsselt werden. Schützen Sie Daten während der Übertragung mit robuster TLS-1.2-Verschlüsselung. Mit AWS Identity and Access Management (IAM) können Sie Identitäten und den Zugriff auf Ihre AWS-Services und -Ressourcen mithilfe des Prinzips der geringsten Berechtigung präzise verwalten.

    Whitepaper zur Sicherheit lesen 

  • Amazon S3 dient als sehr robuste und verfügbare Speicherschicht. Daten-Pipelines werden über EventBridge ausgelöst, das Nachrichten an Amazon SQS sendet, um Pipeline-Aufträge zu initiieren. Fehler werden behoben, indem Nachrichten zum Debuggen und erneuten Verarbeiten in eine Warteschlange für unzustellbare Briefe verschoben werden. Der Leitfaden kann im Falle eines regionalen Fehlers auf eine andere AWS-Region oder ein anderes AWS-Konto übertragen werden, um Flexibilität und Belastbarkeit zu gewährleisten.

    Whitepaper zur Zuverlässigkeit lesen 

  • Diese Lösung optimiert die Leistung, indem sie Lambda für einfache Aufgaben und AWS Glue für umfangreiche Datentransformationen verwendet. AWS Glue, ein Serverless-Datenintegrationsservice, vereinfacht und beschleunigt die Datenaufbereitung und senkt gleichzeitig die Kosten. Er nutzt Apache Spark für die skalierbare Ausführung von Transformationsaufträgen. Step Functions orchestriert AWS-Glue-Aufträge und bietet verteilte Verarbeitungsfunktionen, um die Leistung der Daten-Pipeline zu verbessern.

    Whitepaper zur Leistung und Effizienz lesen 

  • In diesem Leitfaden werden Serverless-AWS-Services verwendet, wodurch die Gesamtbetriebskosten gesenkt und eine bedarfsgerechte Skalierbarkeit ermöglicht werden. Amazon S3 dient als Speicherebene und bietet verschiedene kosteneffiziente Speicherklassen mit automatisiertem Lebenszyklusmanagement für verschiedene Datenzugriffsmuster. Durch die Verlagerung des Infrastrukturmanagements auf AWS ermöglicht der Serverless-Ansatz den Entwicklern, sich auf den Code zu konzentrieren, was die Kosten weiter senkt und die Effizienz verbessert.

    Whitepaper zur Kostenoptimierung lesen 

  • Serverless-Services in diesem Leitfaden werden je nach Bedarf skaliert, wodurch die Energieeffizienz maximiert und die Rechenressourcen minimiert werden. Amazon S3 implementiert Richtlinien für den Datenlebenszyklus und speichert aufgenommene Daten im Parquet-Format. Dieses komprimierte Format reduziert die Anzahl der Datenscans pro Abfrage, wodurch die für den Workload benötigten Rechenressourcen weiter reduziert werden. Die Kombination aus Serverless-Architektur und effizientem Datenspeicher optimiert die Gesamtleistung und die Ressourcennutzung.

    Whitepaper zur Nachhaltigkeit lesen 

Ähnliche Inhalte

[Inhaltstyp]

[Titel]

Dieser [Blogbeitrag/E-Book/Anleitung/Beispielcode] zeigt, wie [kurze Beschreibung einfügen].

Haftungsausschluss

Der Beispielcode, die Softwarebibliotheken, die Befehlszeilentools, die Machbarkeitsnachweise, die Vorlagen oder andere zugehörige Technologien (einschließlich derjenigen, die von unseren Mitarbeitern bereitgestellt werden) werden Ihnen als AWS-Inhalte im Rahmen der AWS-Kundenvereinbarung oder der entsprechenden schriftlichen Vereinbarung zwischen Ihnen und AWS (je nachdem, was zutrifft) zur Verfügung gestellt. Sie sollten diese AWS-Inhalte nicht in Ihren Produktionskonten oder für Produktions- oder andere kritische Daten verwenden. Sie sind verantwortlich für das Testen, Sichern und Optimieren des AWS-Inhalts, z. B. des Beispielcodes, für die Verwendung in der Produktion auf der Grundlage Ihrer spezifischen Qualitätskontrollverfahren und -standards. Bei der Bereitstellung von AWS-Inhalten können AWS-Gebühren für die Erstellung oder Nutzung von kostenpflichtigen AWS-Ressourcen anfallen, z. B. für den Betrieb von Amazon-EC2-Instances oder die Nutzung von Amazon-S3-Speicher.

Verweise auf Services oder Organisationen von Drittanbietern in diesen Leitlinien bedeuten nicht, dass Amazon oder AWS eine Billigung, Förderung oder Zugehörigkeit zwischen Amazon oder AWS und dem Drittanbieter darstellt. Die Beratung durch AWS ist ein technischer Ausgangspunkt, und Sie können Ihre Integration mit Services von Drittanbietern anpassen, wenn Sie die Architektur bereitstellen.

War diese Seite hilfreich?

 Feedback