Wozu dient diese AWS-Lösungsimplementierung?
Die AWS-Streaming-Daten-Lösung für Amazon Kinesis bietet AWS-CloudFormation-Vorlagen, in denen Daten durch Produzenten, Streaming-Speicher, Konsumenten und Ziele fließen. Um mehrere Anwendungsfälle und Geschäftsanforderungen zu unterstützen, bietet diese Lösung vier AWS-CloudFormation-Vorlagen. Ähnlich wie bei der AWS-Streaming-Daten-Lösung für Amazon MSK werden die Templates so konfiguriert, dass Best Practices zur Überwachung der Funktionalität mithilfe von Dashboards und Alarmen sowie zur Sicherung der Daten angewendet werden.
Vorteile
Übersicht über die AWS-Lösungsimplementierung
-
Option 1
-
Option 2
-
Option 3
-
Option 4
-
Option 1
-
AWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Zum Vergrößern klickenSchließenAWS-CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 1 – AWS-CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams und AWS Lambda einsetzt
Diese AWS-CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
- Eine Amazon API Gateway REST API fungiert als Proxy für Amazon Kinesis Data Streams und fügt entweder einen einzelnen Datensatz oder eine Liste von Datensätzen hinzu.
- EinAmazon-Cognito-Benutzerpool wird verwendet, um zu kontrollieren, wer die REST-API-Methoden aufruft.
- Kinesis Data Streams zur Speicherung von eingehenden Streaming-Daten.
- Eine AWS-Lambda-Funktion verarbeitet die Datensätze aus dem Datenstrom.
- Fehler und fehlgeschlagene Datensätze, die während der AWS-Lambda-Verarbeitung auftreten, werden mit Anmerkungen versehen, und die Ereignisse werden im Amazon Simple Queue Service (Amazon SQS) gespeichert. Die Warteschlange speichert Metadaten für fehlgeschlagene Batch-Aufzeichnungen und Lambda-Fehler, sodass Kunden diese Aufzeichnungen abrufen und die nächsten Schritte zu deren Behebung festlegen können.
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Version 1.5.0
Veröffentlichungsdatum: 07.2021
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Bereitstellungsressourcen
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
-
Option 2
-
AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Zum Vergrößern klickenSchließenAWS-CloudFormation-Vorlage mit AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 2 – AWS-CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Diese AWS-CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
- Eine Amazon-Elastic-Compute-Cloud(Amazon EC2)-Instance verwendet Amazon Kinesis Producer Library (KPL) zum Generieren von Daten.
- Amazon Kinesis Data Streams speichert den eingehenden Datenstrom.
- Amazon Kinesis Data Analytics verarbeitet die eingehenden Datensätze und speichert Daten in einem Amazon-Simple-Storage-Service(Amazon S3)-Bucket.
- Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Version 1.5.0
Veröffentlichungsdatum: 07.2021
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Bereitstellungsressourcen
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
-
Option 3
-
AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Zum Vergrößern klickenSchließenAWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 3 – AWS-CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Diese AWS-CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
- Amazon Kinesis Data Streams speichert die eingehenden Streaming-Daten.
- Amazon Kinesis Data Firehose puffert eingehende Daten, bevor diese Ausgabe an Amazon S3 geliefert wird. Es handelt sich um einen vollständig verwalteten Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert.
- Ein Amazon-CloudWatch-Dashboard überwacht die Datenaufnahme und -pufferung. CloudWatch-Alarme sind auf wesentliche Metriken für Kinesis Data Firehose eingestellt.
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Version 1.5.0
Veröffentlichungsdatum: 07.2021
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Bereitstellungsressourcen
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
- Amazon Kinesis Data Streams speichert die eingehenden Streaming-Daten.
-
Option 4
-
Option 4 – AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon API Gateway einsetzt
Zum Vergrößern klickenSchließenOption 4 – AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon API Gateway einsetzt
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 4 – AWS-CloudFormation-Vorlage, die Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics, und Amazon API Gateway einsetzt
Diese AWS-CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die der Option 2 ähnlich ist, die Folgendes umfasst:
- Eine Amazon-Elastic-Compute-Cloud(Amazon EC2)-Instance, die Amazon Kinesis Producer Library (KPL) zum Generieren von Daten verwendet.
- Kinesis Data Streams speichert die eingehenden Streaming-Daten.
- Kinesis Data Analytics verarbeitet die eingehenden Datensätze und ruft asynchron einen externen Endpunkt auf.
- Die Demo-Anwendung ruft eine AWS-Lambda-Funktion auf.
- Eine externe API kann eine beliebige Integration sein, die von Amazon API Gateway unterstützt wird (beispielsweise ein Amazon-SageMaker-Endpunkt).
- Ein Amazon-CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung, Ereignisse und Fehler der Anwendung.
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Version 1.5.0
Veröffentlichungsdatum: 07.2021
Autor: AWS
Geschätzte Bereitstellungszeit: 5 – 10 Minuten
Bereitstellungsressourcen
Verwenden Sie die Schaltfläche unten, um Lösungsaktualisierungen zu abonnieren.Hinweis: Um RSS-Aktualisierungen zu abonnieren, muss für den von Ihnen verwendeten Browser ein RSS-Plug-in aktiviert sein.
- Eine Amazon-Elastic-Compute-Cloud(Amazon EC2)-Instance, die Amazon Kinesis Producer Library (KPL) zum Generieren von Daten verwendet.
Zugehöriger Inhalt
Dieser Beitrag beschreibt die Architektur zum Erreichen von Echtzeit-Inferenz auf Streaming-Daten mit verschiedenen AWS-Services. Außerdem wird die Integration von Amazon Kinesis Data Analytics (KDA) mit Apache Flink behandelt, um zugrunde liegende Dienste oder Datenbanken asynchron aufzurufen.
Durchsuchen Sie unsere Bibliothek der AWS-Lösungsimplementierungen, um Antworten auf häufige Architekturprobleme zu erhalten.
Finden Sie Beratungs- und Technologiepartner mit AWS-Zertifizierung, die Ihnen den Einstieg erleichtern.
Durchsuchen Sie unser Portfolio mit Beratungsangeboten, um AWS-geprüfte Hilfe mit Lösungsbereitstellung zu erhalten.