Die Streaming-Daten-Lösung für Amazon Kinesis bietet AWS-CloudFormation-Vorlagen, in denen Daten durch Produzenten, Streaming-Speicher, Konsumenten und Ziele fließen. Um mehrere Anwendungsfälle und Geschäftsanforderungen zu unterstützen, bietet diese Lösung vier AWS-CloudFormation-Vorlagen. Ähnlich wie bei der Streaming-Daten-Lösung für Amazon MSK werden die Vorlagen so konfiguriert, dass bewährte Methoden zur Überwachung der Funktionalität mithilfe von Dashboards und Alarmen sowie zur Sicherung der Daten angewendet werden.
Vorteile
AWS-Lösungsübersicht
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
AWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Zum Vergrößern klickenAWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Architektur der Streaming-Daten-Lösung für Amazon Kinesis
Option 1 – AWS-CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams und AWS Lambda einsetzt
Diese AWS-CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
- Eine Amazon API Gateway REST API fungiert als Proxy für Amazon Kinesis Data Streams und fügt entweder einen einzelnen Datensatz oder eine Liste von Datensätzen hinzu.
- Ein Amazon-Cognito-Benutzerpool wird verwendet, um zu kontrollieren, wer die REST-API-Methoden aufruft.
- Kinesis Data Streams zur Speicherung von eingehenden Streaming-Daten.
- Eine AWS-Lambda-Funktion verarbeitet die Datensätze aus dem Datenstrom.
- Fehler und fehlgeschlagene Datensätze, die während der AWS-Lambda-Verarbeitung auftreten, werden mit Anmerkungen versehen, und die Ereignisse werden im Amazon Simple Queue Service (Amazon SQS) gespeichert. Die Warteschlange speichert Metadaten für fehlgeschlagene Batch-Aufzeichnungen und Lambda-Fehler, sodass Kunden diese Aufzeichnungen abrufen und die nächsten Schritte zu deren Behebung festlegen können.
Streaming-Daten-Lösung für Amazon Kinesis
Geschätzte Kosten Quellcode Option 1: AWS-CloudFormation-Vorlage, die API Gateway, Kinesis Data Streams und AWS Lambda einsetztVersion 1.7.0
Veröffentlichungsdatum: 11.2022
Autor: AWSGeschätzte Bereitstellungszeit: 5 – 10 Minuten
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
-
Option 2
-
AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Zum Vergrößern klickenAWS-CloudFormation-Vorlage mit AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Architektur der Streaming-Daten-Lösung für Amazon Kinesis
Option 2 – AWS-CloudFormation-Vorlage mit AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Diese AWS-CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
- Eine Amazon Elastic Compute Cloud (Amazon EC2)-Instance verwendet Amazon Kinesis Producer Library (KPL) zum Generieren von Daten.
- Amazon Kinesis Data Streams speichert die eingehenden Datenströme.
- Kinesis Data Analytics Studio verarbeitet die eingehenden Datensätze und speichert Daten in einem Amazon Simple Storage Service (Amazon S3)-Bucket.
- Ein Amazon CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.
Streaming-Daten-Lösung für Amazon Kinesis
Version 1.7.0
Veröffentlichungsdatum: 11.2022
Autor: AWSGeschätzte Bereitstellungszeit: 5 – 10 Minuten
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
-
Option 3
-
AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Zum Vergrößern klickenAWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Architektur der Streaming-Daten-Lösung für Amazon Kinesis
Option 3 – AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Mit dieser Option wird eine Referenzarchitektur bereitgestellt, die auch Folgendes umfasst:
- Amazon Kinesis Data Streams speichert die eingehenden Streaming-Daten.
- Amazon Kinesis Data Firehose puffert eingehende Daten, bevor dies Ausgabe an Amazon S3 geliefert wird. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert.
- Ein Amazon-CloudWatch-Dashboard überwacht die Datenaufnahme und -pufferung. CloudWatch-Alarme sind auf wesentliche Metriken für Kinesis Data Firehose eingestellt.
Streaming-Daten-Lösung für Amazon Kinesis
Version 1.7.0
Veröffentlichungsdatum: 11.2022
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
- Amazon Kinesis Data Streams speichert die eingehenden Streaming-Daten.
-
Option 4
-
AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon API Gateway einsetzt
Zum Vergrößern klickenAWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon API Gateway einsetzt
Architektur der Streaming-Daten-Lösung für Amazon Kinesis
Option 4 – AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, und Amazon API Gateway einsetzt
Diese Option stellt eine Referenzarchitektur bereit, die der Option 2 ähnlich ist und Folgendes umfasst:
- Eine Amazon Elastic Compute Cloud(Amazon EC2)-Instance, die Amazon Kinesis Producer Library (KPL) zum Generieren von Daten verwendet.
- Kinesis Data Streams speichert die Streaming-Daten.
- Kinesis Data Analytics verarbeitet die eingehenden Datensätze und ruft asynchron einen externen Endpunkt auf.
- Die Demo-Anwendung ruft eine AWS-Lambda-Funktion auf.
- Eine externe API kann eine beliebige Integration sein, die von Amazon API Gateway unterstützt wird (beispielsweise ein Amazon-SageMaker-Endpunkt).
- Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.
Streaming-Daten-Lösung für Amazon Kinesis
Version 1.7.0
Veröffentlichungsdatum: 11.2022
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
- Eine Amazon Elastic Compute Cloud(Amazon EC2)-Instance, die Amazon Kinesis Producer Library (KPL) zum Generieren von Daten verwendet.
Ähnliche Inhalte
Dieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Außerdem wird die Integration von Amazon Kinesis Data Analytics (KDA) mit Apache Flink behandelt, um zugrunde liegende Dienste oder Datenbanken asynchron aufzurufen.
Durchsuchen Sie unsere Bibliothek der AWS-Lösungen, um Antworten auf häufige Architekturprobleme zu erhalten.
Finden Sie AWS-Partner, die Ihnen den Einstieg erleichtern.
Präskriptive Architekturdiagramme, Beispielcode und technische Inhalte für häufig vorkommende Anwendungsfälle finden.