Übersicht
Die Streaming-Daten-Lösung für Amazon Kinesis bietet AWS-CloudFormation-Vorlagen, in denen Daten durch Produzenten, Streaming-Speicher, Konsumenten und Ziele fließen. Um mehrere Anwendungsfälle und Geschäftsanforderungen zu unterstützen, bietet diese Lösung vier AWS-CloudFormation-Vorlagen. Ähnlich wie bei der Streaming-Daten-Lösung für Amazon MSK werden die Vorlagen so konfiguriert, dass bewährte Methoden zur Überwachung der Funktionalität mithilfe von Dashboards und Alarmen sowie zur Sicherung der Daten angewendet werden.
Streaming-Daten müssen von einem extrem skalierbaren Speicher langfristig erfasst werden, der die hohen Datenvolumen der Datenproduzenten verarbeiten kann. Ein Produzent kann aus tausenden Datenquellen bestehen, die jeweils kontinuierlich Streaming-Daten generieren und die Datensätze typischerweise gleichzeitig und in kleinen Größen (Kilobyte) liefern.
Zu den Streaming-Daten gehören eine Vielzahl an Daten, wie Protokolldateien, die von Kunden auf Mobil- oder Webanwendungen generiert werden, E-Commerce-Käufe, Spieleraktivitäten im Spiel, Informationen von sozialen Netzwerken, Börsenmarktinformationen oder raumbezogene Daten und Telemetriedaten von verbundenen Geräten oder Instrumenten in Rechenzentren.
Vorteile
Technische Details
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
AWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
AWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Option 1 – AWS-CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams und AWS Lambda einsetzt
Schritt 1
Eine Amazon API Gateway REST API fungiert als Proxy für Amazon Kinesis Data Streams und fügt entweder einen einzelnen Datensatz oder eine Liste von Datensätzen hinzu.Schritt 2
Ein Amazon-Cognito-Benutzerpool wird verwendet, um zu kontrollieren, wer die REST-API-Methoden aufruft.Schritt 3
Kinesis Data Streams zur Speicherung von eingehenden Streaming-Daten.Schritt 4
Eine AWS-Lambda-Funktion verarbeitet die Datensätze aus dem Datenstrom.Schritt 5
Fehler und fehlgeschlagene Datensätze, die während der AWS-Lambda-Verarbeitung auftreten, werden mit Anmerkungen versehen, und die Ereignisse werden im Amazon Simple Queue Service (Amazon SQS) gespeichert. Die Warteschlange speichert Metadaten für fehlgeschlagene Batch-Aufzeichnungen und Lambda-Fehler, sodass Kunden diese Aufzeichnungen abrufen und die nächsten Schritte zu deren Behebung festlegen können.Option 1 – AWS-CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams und AWS Lambda einsetzt
Schritt 1
Eine Amazon API Gateway REST API fungiert als Proxy für Amazon Kinesis Data Streams und fügt entweder einen einzelnen Datensatz oder eine Liste von Datensätzen hinzu.Schritt 2
Ein Amazon-Cognito-Benutzerpool wird verwendet, um zu kontrollieren, wer die REST-API-Methoden aufruft.Schritt 3
Kinesis Data Streams zur Speicherung von eingehenden Streaming-Daten.Schritt 4
Eine AWS-Lambda-Funktion verarbeitet die Datensätze aus dem Datenstrom.Schritt 5
Fehler und fehlgeschlagene Datensätze, die während der AWS-Lambda-Verarbeitung auftreten, werden mit Anmerkungen versehen, und die Ereignisse werden im Amazon Simple Queue Service (Amazon SQS) gespeichert. Die Warteschlange speichert Metadaten für fehlgeschlagene Batch-Aufzeichnungen und Lambda-Fehler, sodass Kunden diese Aufzeichnungen abrufen und die nächsten Schritte zu deren Behebung festlegen können.Ähnliche Inhalte
AWS-ArchitekturblogEchtzeit-In-Stream-Inferenz mit AWS Kinesis, SageMaker und Apache FlinkDen vollständigen Blog-Artikel lesenDieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Außerdem wird die Integration von Amazon Kinesis Data Analytics (KDA) mit Apache Flink behandelt, um zugrunde liegende Dienste oder Datenbanken asynchron aufzurufen.
TrainingEinführung in Amazon Kinesis AnalyticsJetzt anmeldenDies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.
TrainingData Analytics FundamentalsJetzt anmeldenIn diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.
Über diese BereitstellungVersion1.7.2Veröffentlicht01/2023AutorAWSGeschätzte Bereitstellungszeit5-10 Min.Implementierungsleitfaden herunterladen Quellcode CloudFormation-Vorlage RSS-Feed abonnierenGeschätzte KostenBereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 2
-
AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Option 2 – AWS-CloudFormation-Vorlage mit AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Schritt 1
Eine Amazon Elastic Compute Cloud (Amazon EC2)-Instance verwendet Amazon Kinesis Producer Library (KPL) zum Generieren von Daten.Schritt 3
Kinesis Data Analytics Studio verarbeitet die eingehenden Datensätze und speichert Daten in einem Amazon Simple Storage Service (Amazon S3)-Bucket.Schritt 4
Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.
Option 2 – AWS-CloudFormation-Vorlage mit AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Schritt 1
Eine Amazon Elastic Compute Cloud (Amazon EC2)-Instance verwendet Amazon Kinesis Producer Library (KPL) zum Generieren von Daten.Schritt 3
Kinesis Data Analytics Studio verarbeitet die eingehenden Datensätze und speichert Daten in einem Amazon Simple Storage Service (Amazon S3)-Bucket.Schritt 4
Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.
Ähnliche Inhalte
AWS-ArchitekturblogEchtzeit-In-Stream-Inferenz mit AWS Kinesis, SageMaker und Apache FlinkDen vollständigen Blog-Artikel lesenDieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Außerdem wird die Integration von Amazon Kinesis Data Analytics (KDA) mit Apache Flink behandelt, um zugrunde liegende Dienste oder Datenbanken asynchron aufzurufen.
TrainingEinführung in Amazon Kinesis AnalyticsJetzt anmeldenDies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.
TrainingData Analytics FundamentalsJetzt anmeldenIn diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.
Über diese BereitstellungVersion1.7.2Veröffentlicht01/2023AutorAWSGeschätzte Bereitstellungszeit5-10 Min.Implementierungsleitfaden herunterladen Quellcode CloudFormation-Vorlage RSS-Feed abonnierenGeschätzte KostenBereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 3
-
AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Option 3 – AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Schritt 1
Eine Amazon Elastic Compute Cloud (Amazon EC2)-Instance verwendet Amazon Kinesis Producer Library (KPL) zum Generieren von Daten.Schritt 2
Amazon Kinesis Data Firehose puffert eingehende Daten, bevor dies Ausgabe an einen Amazon-S3-Bucket geliefert wird. Diese Lösung ist ein vollständig verwalteter Service, der automatisch entsprechend dem Durchsatz Ihrer Daten skaliert wird und keine weitere Verwaltung erfordert.Schritt 3
Ein Amazon-CloudWatch-Dashboard überwacht die Datenaufnahme und -pufferung. CloudWatch-Alarme sind auf wesentliche Metriken für Kinesis Data Firehose eingestellt.Option 3 – AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Schritt 1
Amazon Kinesis Data Streams speichert die eingehenden Streaming-Daten.Schritt 2
Amazon Kinesis Data Firehose puffert eingehende Daten, bevor dies Ausgabe an einen Amazon-S3-Bucket geliefert wird. Diese Lösung ist ein vollständig verwalteter Service, der automatisch entsprechend dem Durchsatz Ihrer Daten skaliert wird und keine weitere Verwaltung erfordert.Schritt 3
Ein Amazon-CloudWatch-Dashboard überwacht die Datenaufnahme und -pufferung. CloudWatch-Alarme sind auf wesentliche Metriken für Kinesis Data Firehose eingestellt.Ähnliche Inhalte
AWS-ArchitekturblogEchtzeit-In-Stream-Inferenz mit AWS Kinesis, SageMaker und Apache FlinkDen vollständigen Blog-Artikel lesenDieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Außerdem wird die Integration von Amazon Kinesis Data Analytics (KDA) mit Apache Flink behandelt, um zugrunde liegende Dienste oder Datenbanken asynchron aufzurufen.
TrainingEinführung in Amazon Kinesis AnalyticsJetzt anmeldenDies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.
TrainingData Analytics FundamentalsJetzt anmeldenIn diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.
Über diese BereitstellungVersion1.7.2Veröffentlicht01/2023AutorAWSGeschätzte Bereitstellungszeit5-10 Min.Implementierungsleitfaden herunterladen Quellcode CloudFormation-Vorlage RSS-Feed abonnierenGeschätzte KostenBereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten -
Option 4
-
AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon API Gateway einsetzt
AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon API Gateway einsetzt
Option 4 – AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, und Amazon API Gateway einsetzt
Schritt 1
Eine Amazon-Elastic-Compute-Cloud-Instance (Amazon EC2), die Amazon Kinesis Producer Library (KPL) zum Generieren von Daten verwendet.Schritt 3
Kinesis Data Analytics verarbeitet die eingehenden Datensätze und ruft asynchron einen externen Endpunkt auf.Schritt 4
Die Demo-Anwendung ruft eine AWS-Lambda-Funktion auf.Schritt 5
Eine externe API kann eine beliebige Integration sein, die von Amazon API Gateway unterstützt wird (beispielsweise ein Amazon-SageMaker-Endpunkt).Schritt 6
Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.Option 4 – AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, und Amazon API Gateway einsetzt
Schritt 1
Eine Amazon-Elastic-Compute-Cloud-Instance (Amazon EC2), die Amazon Kinesis Producer Library (KPL) zum Generieren von Daten verwendet.Schritt 3
Kinesis Data Analytics verarbeitet die eingehenden Datensätze und ruft asynchron einen externen Endpunkt auf.Schritt 4
Die Demo-Anwendung ruft eine AWS-Lambda-Funktion auf.Schritt 5
Eine externe API kann eine beliebige Integration sein, die von Amazon API Gateway unterstützt wird (beispielsweise ein Amazon-SageMaker-Endpunkt).Schritt 6
Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.AWS-ArchitekturblogEchtzeit-In-Stream-Inferenz mit AWS Kinesis, SageMaker und Apache FlinkDen vollständigen Blog-Artikel lesenDieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Außerdem wird die Integration von Amazon Kinesis Data Analytics (KDA) mit Apache Flink behandelt, um zugrunde liegende Dienste oder Datenbanken asynchron aufzurufen.
TrainingEinführung in Amazon Kinesis AnalyticsJetzt anmeldenDies ist ein Einführungskurs über Amazon Kinesis Analytics, der Ihnen hilft, Streaming-Daten abzufragen oder ganze Streaming-Anwendungen mit SQL zu erstellen.
TrainingData Analytics FundamentalsJetzt anmeldenIn diesem Kurs zum Selbststudium lernen Sie den Vorgang der Planung von Datenanalyselösungen und die verschiedenen damit verbundenen Datenanalyseprozesse kennen.
Über diese BereitstellungVersion1.7.2Veröffentlicht01/2023AutorAWSGeschätzte Bereitstellungszeit5-10 Min.Implementierungsleitfaden herunterladen Quellcode CloudFormation-Vorlage RSS-Feed abonnierenGeschätzte KostenBereitstellungsoptionenSind Sie startbereit?Diese Lösung bereitstellen, indem Sie sie in Ihrer AWS-Konsole starten
