Wozu dient diese AWS-Lösungsimplementierung?
Die AWS-Streaming-Daten-Lösung für Amazon Kinesis bietet AWS-CloudFormation-Vorlagen, in denen Daten durch Produzenten, Streaming-Speicher, Konsumenten und Ziele fließen. Um mehrere Anwendungsfälle und Geschäftsanforderungen zu unterstützen, bietet diese Lösung vier AWS-CloudFormation-Vorlagen. Ähnlich wie bei der AWS-Streaming-Daten-Lösung für Amazon MSK werden die Templates so konfiguriert, dass Best Practices zur Überwachung der Funktionalität mithilfe von Dashboards und Alarmen sowie zur Sicherung der Daten angewendet werden.
Vorteile
Übersicht über die AWS-Lösungsimplementierung
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
AWS CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Zum Vergrößern klickenSchließenAWS CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 1 – AWS CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams und AWS Lambda einsetzt
Diese AWS CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
- Ein Amazon API-Gateway von Amazon nimmt Streaming-Daten auf und verarbeitet diese Daten mit einer AWS Lambda-Funktion.
- Eine Amazon API Gateway REST API fungiert als Proxy für Amazon Kinesis Data Streams und fügt entweder einen einzelnen Datensatz oder eine Liste von Datensätzen hinzu.
- Speichert Datensätze in Kinesis-Datenströme. Eine AWS Lambda-Funktion verarbeitet die Datensätze aus dem Datenstrom.
- Fehler und fehlgeschlagene Datensätze, die während der AWS Lambda-Verarbeitung auftreten, werden mit Anmerkungen versehen, und die Ereignisse werden im Amazon Simple Queue Service (Amazon SQS) gespeichert.
- Eine Amazon Simple Queue Service-Warteschlange speichert Metadaten für fehlgeschlagene Batch-Aufzeichnungen und Lambda-Fehler, sodass Kunden diese Aufzeichnungen abrufen und die nächsten Schritte zu deren Behebung festlegen können.
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Version 1.4.1
Veröffentlichungsdatum: 05/2021
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Bereitstellungsressourcen
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
-
Option 2
-
AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Zum Vergrößern klickenSchließenAWS CloudFormation-Vorlage mit AWS CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 2 – AWS CloudFormation-Vorlage mit AWS CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Diese AWS CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
- Amazon Kinesis Producer Library (KPL) nimmt Streaming-Daten auf und verarbeitet die eingehenden Daten mit Hilfe von Amazon Kinesis Data Analytics. Diese Vorlage bietet eine Beispielanwendung, die Daten im Datenstrom veröffentlicht.
- Eine Amazon Elastic Compute Cloud (Amazon EC2)-Instance verwendet KPL zum Generieren von Daten.
- Amazon Kinesis Data Streams speichert die eingehenden Streaming-Daten, und Amazon Kinesis Data Analytics verarbeitet die eingehenden Datensätze und speichert die verarbeiteten Daten in einem Amazon Simple Storage Service (Amazon S3)-Bucket.
- Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Version 1.4.1
Veröffentlichungsdatum: 05/2021
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Bereitstellungsressourcen
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
-
Option 3
-
AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Zum Vergrößern klickenSchließenAWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 3 – AWS CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Diese AWS CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
- Amazon Kinesis Data Streams nimmt Streaming-Daten auf und Amazon Kinesis Data Firehose verarbeitet sie. Kinesis Data Firehose ist ein vollständig verwalteter Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert.
- Ein Amazon CloudWatch-Dashboard überwacht die Datenaufnahme und -pufferung. CloudWatch-Alarme sind auf wesentliche Metriken für Kinesis Data Firehose eingestellt.
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Version 1.4.1
Veröffentlichungsdatum: 05/2021
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Bereitstellungsressourcen
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
-
Option 4
-
AWS-CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon API Gateway einsetzt
Zum Vergrößern klickenSchließenAWS-CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon API Gateway einsetzt
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 4 – AWS CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams, Amazon Kinesis Data Analytics und AWS API Gateway einsetzt
Diese AWS CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die der von Option 2 ähnelt. Diese Vorlage ruft jedoch asynchron einen externen Endpunkt in einer Streaming-Anwendung auf.
Die in dieser Vorlage enthaltene Demo-Anwendung ruft eine AWS Lambda-Funktion auf, und die externe API kann jede vom Amazon API Gateway unterstützte Integration sein (z. B. ein Amazon SageMaker-Endpunkt).
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Version 1.4.1
Veröffentlichungsdatum: 05/2021
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Bereitstellungsressourcen
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
Zugehöriger Inhalt
Dieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Außerdem wird die Integration von Amazon Kinesis Data Analytics (KDA) mit Apache Flink behandelt, um zugrunde liegende Dienste oder Datenbanken asynchron aufzurufen.
Durchsuchen Sie unsere Bibliothek der AWS-Lösungsimplementierungen, um Antworten auf häufige Architekturprobleme zu erhalten.
Finden Sie Beratungs- und Technologiepartner mit AWS-Zertifizierung, die Ihnen den Einstieg erleichtern.
Durchsuchen Sie unser Portfolio mit Beratungsangeboten, um AWS-geprüfte Hilfe mit Lösungsbereitstellung zu erhalten.