Streaming-Daten-Lösung für Amazon Kinesis

Ein massiv skalierbarer und langlebiger Echtzeit-Daten-Streaming-Service, mit dem Sie kontinuierlich Daten zur Verarbeitung erfassen können

Übersicht

Die Streaming-Daten-Lösung für Amazon Kinesis bietet AWS-CloudFormation-Vorlagen, in denen Daten durch Produzenten, Streaming-Speicher, Konsumenten und Ziele fließen. Um mehrere Anwendungsfälle und Geschäftsanforderungen zu unterstützen, bietet diese Lösung vier AWS-CloudFormation-Vorlagen. Ähnlich wie bei der Streaming-Daten-Lösung für Amazon MSK werden die Vorlagen so konfiguriert, dass bewährte Methoden zur Überwachung der Funktionalität mithilfe von Dashboards und Alarmen sowie zur Sicherung der Daten angewendet werden.

Streaming-Daten müssen von einem extrem skalierbaren Speicher langfristig erfasst werden, der die hohen Datenvolumen der Datenproduzenten verarbeiten kann. Ein Produzent kann aus tausenden Datenquellen bestehen, die jeweils kontinuierlich Streaming-Daten generieren und die Datensätze typischerweise gleichzeitig und in kleinen Größen (Kilobyte) liefern.

Zu den Streaming-Daten gehören eine Vielzahl an Daten, wie Protokolldateien, die von Kunden auf Mobil- oder Webanwendungen generiert werden, E-Commerce-Käufe, Spieleraktivitäten im Spiel, Informationen von sozialen Netzwerken, Börsenmarktinformationen oder raumbezogene Daten und Telemetriedaten von verbundenen Geräten oder Instrumenten in Rechenzentren.

Vorteile

Automatisierte Konfiguration
Konfigurieren Sie AWS-Services automatisch, die für das leichte Erfassen, Speichern, Verarbeiten und Liefern von Streaming-Daten nötig sind.
Vier Vorlagenoptionen
Wählen Sie aus vier verschiedenen AWS CloudFormation-Vorlagenoptionen. Testen Sie neue Servicekombinationen für Ihre Produktionsumgebung und verbessern Sie bestehende Anwendungen.
Echtzeitanwendungsfälle
Erfassen Sie Anwendungsprotokolle mit hohem Volumen, analysieren Sie Clickstream-Daten, stellen Sie dauerhaft an einen Data Lake bereit und vieles mehr.
Anpassbarer Sourcecode
Passen Sie den Boilerplate-Code der Lösung an, und nutzen Sie dann die Überwachungsfunktionen, um schnell von der Testphase in die Produktion überzugehen.

Technische Details

Die folgenden Diagramme zeigen die vier AWS-CloudFormation-Vorlagen, die Sie mithilfe des Implementierungsleitfadens der Lösung automatisch bereitstellen können.
  • Option 1
  • AWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
    Option 1 – AWS-CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams und AWS Lambda einsetzt
    AWS-Architekturblog
    Echtzeit-In-Stream-Inferenz mit AWS Kinesis, SageMaker und Apache Flink

    Dieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Er behandelt auch die Integration von Amazon Managed Service für Apache Flink, um zugrunde liegende Services oder Datenbanken asynchron aufzurufen.

    Den vollständigen Blog-Artikel lesen 
    Training
    Einführung in Amazon Kinesis Analytics

    Dies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.

    Jetzt anmelden 
    Training
    Data Analytics Fundamentals

    In diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.

    Jetzt anmelden 
    Über diese Bereitstellung
    Version
    1.8.1
    Veröffentlicht
    10/2023
    Autor
    AWS
    Geschätzte Bereitstellungszeit
    5-10 Min.
    Geschätzte Kosten
    Implementierungsleitfaden herunterladen  Quellcode  CloudFormation-Vorlage  RSS-Feed abonnieren 
    Bereitstellungsoptionen
    Sind Sie startbereit?
    Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten
    Hat Ihnen diese AWS-Lösung geholfen?
    Feedback geben
  • Option 2
  • AWS-CloudFormation-Vorlage unter Verwendung von Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service für Apache Flink und Amazon CloudWatch 

    Option 2 – AWS-CloudFormation-Vorlage unter Verwendung von AWS CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service für Apache Flink und Amazon CloudWatch
    AWS-Architekturblog
    Echtzeit-In-Stream-Inferenz mit AWS Kinesis, SageMaker und Apache Flink

    Dieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Er behandelt auch die Integration von Amazon Managed Service für Apache Flink, um zugrunde liegende Services oder Datenbanken asynchron aufzurufen.

    Den vollständigen Blog-Artikel lesen 
    Training
    Einführung in Amazon Kinesis Analytics

    Dies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.

    Jetzt anmelden 
    Training
    Data Analytics Fundamentals

    In diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.

    Jetzt anmelden 
    Über diese Bereitstellung
    Version
    1.8.1
    Veröffentlicht
    10/2023
    Autor
    AWS
    Geschätzte Bereitstellungszeit
    5-10 Min.
    Geschätzte Kosten
    Implementierungsleitfaden herunterladen  Quellcode  CloudFormation-Vorlage  RSS-Feed abonnieren 
    Bereitstellungsoptionen
    Sind Sie startbereit?
    Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten
    Hat Ihnen diese AWS-Lösung geholfen?
    Feedback geben
  • Option 3
  • AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
    Option 3 – AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
    AWS-Architekturblog
    Echtzeit-In-Stream-Inferenz mit AWS Kinesis, SageMaker und Apache Flink

    Dieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Er behandelt auch die Integration von Amazon Managed Service für Apache Flink, um zugrunde liegende Services oder Datenbanken asynchron aufzurufen.

    Den vollständigen Blog-Artikel lesen 
    Training
    Einführung in Amazon Kinesis Analytics

    Dies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.

    Jetzt anmelden 
    Training
    Data Analytics Fundamentals

    In diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.

    Jetzt anmelden 
    Über diese Bereitstellung
    Version
    1.8.1
    Veröffentlicht
    10/2023
    Autor
    AWS
    Geschätzte Bereitstellungszeit
    5-10 Min.
    Geschätzte Kosten
    Implementierungsleitfaden herunterladen  Quellcode  CloudFormation-Vorlage  RSS-Feed abonnieren 
    Bereitstellungsoptionen
    Sind Sie startbereit?
    Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten
    Hat Ihnen diese AWS-Lösung geholfen?
    Feedback geben
  • Option 4
  • AWS-CloudFormation-Vorlage unter Verwendung von Amazon Kinesis Data Streams, Amazon Managed Service für Apache Flink und Amazon API Gateway
    Option 4 – AWS-CloudFormation-Vorlage unter Verwendung von Amazon Kinesis Data Streams, Amazon Managed Service für Apache Flink und Amazon API Gateway
    AWS-Architekturblog
    Echtzeit-In-Stream-Inferenz mit AWS Kinesis, SageMaker und Apache Flink

    Dieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Er behandelt auch die Integration von Amazon Managed Service für Apache Flink, um zugrunde liegende Services oder Datenbanken asynchron aufzurufen.

    Den vollständigen Blog-Artikel lesen 
    Training
    Einführung in Amazon Kinesis Analytics

    Dies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.

    Jetzt anmelden 
    Training
    Data Analytics Fundamentals

    In diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.

    Jetzt anmelden 
    Über diese Bereitstellung
    Version
    1.8.1
    Veröffentlicht
    10/2023
    Autor
    AWS
    Geschätzte Bereitstellungszeit
    5-10 Min.
    Geschätzte Kosten
    Implementierungsleitfaden herunterladen  Quellcode  CloudFormation-Vorlage  RSS-Feed abonnieren 
    Bereitstellungsoptionen
    Sind Sie startbereit?
    Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten
    Hat Ihnen diese AWS-Lösung geholfen?
    Feedback geben