Referenzbereitstellung

Data Lake Foundation on AWS

Nutzung von AWS-Diensten, einschließlich Amazon Redshift, Amazon Kinesis, AWS Glue und Amazon SageMaker

Diese Quick-Start-Version richtet ein Data-Lake-Fundament ein, das verschiedene Amazon Web Services (AWS) Services wie Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon Kinesis, Amazon Athena, AWS Glue, Amazon Elasticsearch Service (Amazon ES), Amazon SageMaker und Amazon QuickSight integriert.

Das Data-Lake-Fundament nutzt diese AWS-Dienste, um Funktionen wie Datenübermittlung, Ingest-Verarbeitung, Datensatzverwaltung, Datentransformation und -Analyse, Aufbau und Einsatz von maschinellen Lernwerkzeugen, Suche, Veröffentlichung und Visualisierung bereitzustellen. Sobald dieses Fundament installiert ist, können Sie den Data Lake um ISV- und SaaS-Tools erweitern.

Diese Referenzarchitektur kann mithilfe von AWS CloudFormation-Vorlagen automatisiert bereitgestellt werden, die Sie an Ihre individuellen Bedürfnisse anpassen können.

Weitere Informationen: Falls diese Architektur nicht Ihre spezifischen Anforderungen erfüllt, finden sich weitere Data-Lake-Bereitstellungen im Quick-Start-Katalog.

Dieser Quick Start wurde von AWS entwickelt.

  •  Leistungen
  • Die Quick Start-Architektur für den Data Lake beinhaltet unter anderem die folgende Infrastruktur:

    • Eine Virtual Private Cloud (VPC), die sich über zwei Availability Zones erstreckt und zwei öffentliche und zwei private Subnetze umfasst.*
    • Ein Internet-Gateway für den Zugang zum Internet.*
    • In den öffentlichen Subnetzen verwaltete NAT-Gateways, die den ausgehenden Internetzugang für Ressourcen in den privaten Subnetzen ermöglichen.*
    • In den öffentlichen Subnetzen Linux-Bastion-Hosts in einer Auto Scaling-Gruppe, um in öffentlichen und privaten Subnetzen den bei EC2-Instances eingehenden Datenverkehr über Secure Shell (SSH) zu ermöglichen.*
    • Rollen in AWS Identity and Access Management (IAM) zur Festlegung von Berechtigungen für den Zugriff auf AWS-Ressourcen, z. B. das Anzeigen und Bearbeiten kuratierter Datensätze durch Amazon Redshift und Amazon Athena.
    • In den privaten Subnetzen Amazon Redshift zur Datenaggregation, Analyse, Transformation und Erstellung neuer kuratierter und veröffentlichter Datensätze.
    • Eine Amazon SageMaker-Instance, auf die Sie mittels AWS-Authentifizierung zugreifen können.
    • Integration mit anderen Amazon-Services wie Amazon S3, Amazon Athena, AWS Glue, AWS Lambda, Amazon ES mit Kibana, Amazon Kinesis und Amazon QuickSight.

    *  Die Vorlage, die den Quick Start in einer bestehenden VPC bereitstellt, sorgt dafür, dass die mit Sternchen markierten Aufgaben übersprungen werden, und fordert Sie auf, die bestehende VPC-Konfiguration anzugeben.

  •  Installation
  • Zum Aufbau Ihrer Data-Lake-Umgebung auf AWS befolgen Sie bitte die Anweisungen im Bereitstellungs-Leitfaden. Der Bereitstellungsprozess dauert etwa 50 Minuten und umfasst die folgenden Schritte:

    1. Falls Sie noch kein AWS-Konto haben, registrieren Sie sich bitte unter https://aws.amazon.com.
    2. Führen Sie den Quick Start aus. Sie können zwischen Optionen wählen:
    3. Testen Sie Ihre Installation, indem Sie die vom Quick Start erstellten Ressourcen überprüfen.

    Die Parameter des Quick Start können von Ihnen individuell angepasst werden. So können Sie zum Beispiel Ihr Netzwerk konfigurieren oder die Einstellungen für Amazon Redshift, Kinesis und Elasticsearch anpassen.  

    Amazon kann Benutzerbereitstellungsinformationen an den AWS-Partner weitergeben, der mit AWS bei dieser Partnerlösung zusammengearbeitet hat.  

  •  Kosten und Lizenzen
  • Die Kosten der zur Ausführung dieser Quick-Start-Referenzinstallation erforderlichen AWS-Dienste sind allein von Ihnen zu tragen. Für die Nutzung des Quick Starts fallen keine zusätzlichen Kosten an.

    Die AWS CloudFormation-Vorlagen für diesen Quick Start enthalten Konfigurationsparameter, die Sie individuell an Ihre Bedürfnisse anpassen können. Einige dieser Einstellungen, beispielsweise der Instance-Typ, wirken sich auf die Bereitstellungskosten aus. Nähere Informationen für überschlägige Kostenkalkulationen finden Sie auf den Seiten mit den Preisen für die von Ihnen zu nutzenden AWS-Dienste.

    Da dieser Quick Start AWS-native Lösungskomponenten verwendet, bestehen keine Kosten oder Lizenzanforderungen über die AWS-Infrastrukturkosten hinaus. Dieser Quick Start enthält auch Kibana, ein Open-Source-Tool, das in Amazon ES integriert ist.

  •  Ressourcen
  • Diese Quick-Start-Referenzinstallation steht im Zusammenhang mit einer in Solution Space präsentierten Lösung, die eine Lösungsbeschreibung, ein optionales Beratungsangebot der AWS-Kompetenzpartner und eine AWS-Beteiligung an PoC-Projekten (für den Proof of Concept) umfasst. Um mehr über diese Ressourcen zu erfahren, besuchen Sie bitte Solution Space.