Referenzbereitstellung

Prädiktive Datenwissenschaft mit Amazon SageMaker und einem Data Lake auf AWS

Speichern und Transformieren von Daten für die Erstellung prädiktiver und präskriptiver Anwendungen

Dieser Quick Start erstellt eine Data-Lake-Umgebung zur Entwicklung, Schulung und Bereitstellung von Machine-Learning-Modellen (ML mit Amazon SageMaker in der Amazon Web Services (AWS) Cloud. Die Bereitstellung dauert etwa 10-15 Minuten und nutzt AWS-Services wie Amazon Simple Storage Service (Amazon S3), Amazon API Gateway, AWS Kambda, Amazon Kinesis Data Streams und Amazon Kinesis Data Firehose.

Amazon SageMaker ist eine verwaltete Plattform für Entwickler und Datenwissenschaftler zur schnellen und einfachen Entwicklung, Schulung und Bereitstellung von ML-Modellen.

Dieser Quick Start richtet sich an Benutzer, die das Potenzial Ihrer Daten für prädiktive und präskriptive Modelle entfesseln möchten, um Geschäftswert zu schöpfen - ohne die Konfiguration komplexer ML-Hardwarecluster. Es ermöglicht End-to-End-Datenwissenschaft, beginnend mit Rohdaten, die in einer Prädiktions-REST-API in einem Produktionssystem münden.

Der Quick Start bietet außerdem ein Demoszenario entwickelt von Pariveda Solutions. Die Demo zeigt, wie Sie Rohdaten in Amazon S3 speichern, diese zur Aufnahme in Amazon SageMaker verwandeln, Amazon SageMaker zur Entwicklung eines ML-Modells verwenden und das Modell in einer Prädiktions-API für Amazon Elastic Compute Cloud (Amazon EC2) Spot-Preisgestaltung hosten.

pariveda-data-lake-sagemaker-LP-logo

Dieser Schnellstart wurde von Pariveda Solutions, Inc. in Zusammenarbeit mit AWS entwickelt. Pariveda ist ein APN-Partner.

  •  Ihre Möglichkeiten
  •  Bereitstellungshandbuch
  •  Kosten und Lizenzen
  •  Ressourcen
  •  Ihre Möglichkeiten
  • Diese Quick Start-Architektur erstellt Folgendes:

    • einen strukturierten Data Lake in Amazon S3 zur Speicherung der rohen, modellierten, erweiterten und verwandelten Daten.
    • Ein Staging-Bucket für die zweckgeformten und verwandelten Daten, die in Amazon SageMaker aufgenommen werden.
    • Auf AWS Lambda gehosteter Datentransformationscode zur Vorbereitung der Rohdaten zur Aufnahme und für das ML-Modelltraining, und zur Verwandlung der Dateneingabe und -ausgabe.
    • Amazon SageMaker-Automatisierung über Lambda-Funktionen zur Entwicklung, Verwaltung und Erstellung von REST-Endpunkten für neue Modelle, basierend auf einem Zeitplan oder ausgelöst durch Datenänderungen im Data Lake.
    • Amazon API Gateway-Endpunkte zum Hosten öffentlicher APIs, damit Entwickler historische Daten oder Prädiktionen für ihre Anwendungen erhalten können.
    • Amazon Kinesis Data Streams für eine Echtzeitverarbeitung neuer Daten über die Phasen Aufnahme, Modellierung, Erweiterung und Verwandlung hinweg.
    • Amazon Kinesis Data Firehose zur Bereitstellung der Ergebnisse der Modellierungs- und Erweiterungsphasen auf Amazon S3, um sie dauerhaft zu speichern.
    • Ein Amazon CloudWatch-Dashboard zur Überwachung von Datenumwandlung und Modelltraining sowie Hosten von Komponenten für den Prädiktions-Endpunkt.
    • Ein AWS SageMaker Notebook-Server, um die Datenexploration durch ein Jupyter-Notebook zu ermöglichen.
    • AWS Identity and Access Management (IAM), um das Prinzip der Mindestrechte für jede Verarbeitungskomponente durchzusetzen. Die IAM-Rolle und -Richtlinie schränken den Zugriff nur auf die Ressourcen ein, die nötig sind.
    • Ein Demo-Szenario, das ein prädiktives Modell zur täglichen Spot-Preisgestaltung von Amazon Elastic Compute Cloud (Amazon EC2) erstellt und aktualisiewrt.
  •  Bereitstellungshandbuch
  • Sie können Ihre prädiktive Datenwissenschaftsumgebung mit Amazon SageMaker und einem Data Lake auf AWS in etwa 10-15 Minuten erstellen, indem Sie einige einfache Schritte befolgen:

    1. Falls Sie noch kein AWS-Konto haben, registrieren Sie sich bitte unter https://aws.amazon.com.
    2. Starten Sie den Quick Start.
    3. (Optional) Testen Sie die Bereitstellung mit dem mitgelieferten Demoszenario.
    4. (Optional) Trainieren Sie selbst ein ML-Modell.
  •  Kosten und Lizenzen
  • Sie sind für die Kosten der AWS-Services verantwortlich, die bei der Ausführung dieser Quick Start-Referenzbereitstellung verwendet werden. Durch die Verwendung des Quick Starts entstehen keine zusätzlichen Kosten.

    Die in der AWS CloudFormation-Vorlage enthaltenen Konfigurationsparameter für diesen Quick Start können angepasst werden. Einige dieser Einstellungen, beispielsweise der Instance-Typ, wirken sich auf die Bereitstellungskosten aus. Kostenbeispiele finden Sie in den Preisübersichten zu den von Ihnen genutzten AWS-Services. Preisänderungen sind vorbehalten.

    Da dieser Quick Start native AWS-Services verwendet, sind keine zusätzlichen Lizenzen nötig.

  •  Ressourcen
  • Diese Quick Start-Referenz steht im Zusammenhang mit einer in Solution Space präsentierten Lösung, die eine Übersicht, ein optionales Beratungsangebot der AWS-Kompetenzpartner und eine AWS-Beteiligung an PoC-Projekten (für den Proof of Concept) umfasst. Um mehr über diese Ressourcen zu erfahren, besuchen Sie bitte Solution Space.