Die AWS-Streaming-Daten-Lösung für Amazon Kinesis konfiguriert die AWS-Services automatisch, die für das leichte Erfassen, Speichern, Verarbeiten und Liefern von Streaming-Daten nötig sind. Diese Lösung hilft Ihnen bei Anwendungsfällen für Echtzeit-Streaming, wie dem Erfassen von Anwendungsprotokollen mit hohem Volumen, der Analyse von Clickstream-Daten, der dauerhaften Lieferung an einen Data Lake und vielem mehr. Um sich flexibel an verschiedene Anwendungsfälle und betriebliche Bedürfnisse anpassen zu können, bietet diese Lösung vier AWS CloudFormation-Vorlagen. Mit jeder Vorlage können Sie verschiedene Komponenten kombinieren und erweitern, um Ihre Anforderungen zu erfüllen. Sie können diese Lösung verwenden, um neue Servicekombinationen als Grundlage für Ihre Produktionsumgebung zu testen oder um bestehende Anwendungen zu verbessern.
Diese Lösung verkürzt Ihre Entwicklungszeit, indem sie Folgendes entfernt oder reduziert: Modellieren und Bereitstellen von Ressourcen mit AWS CloudFormation; Einrichten von Amazon CloudWatch-Warnungen, Dashboards, und Protokollierung; die manuelle Implementierung von bewerten Methoden für Streaming-Daten in AWS. Diese Lösung ist von Daten und Logik unabhängig. Sie beginnen mit Codebausteinen und können diese schnell anpassen. Nach der Fertigstellung können Sie mit den Überwachungsfunktionen der Lösung schnell zur Produktion übergehen.
Die AWS-Streaming-Daten-Lösung für Amazon Kinesis nutzt Vorlagen, bei denen Daten durch Produzenten, Streaming-Speicher, Konsumenten und Ziele fließen. Produzenten erzeugen andauernd Daten und schicken diese an Streaming-Speicher, wo sie dauerhaft erfasst und zur Verarbeitung durch einen Datenkonsumenten bereitgestellt werden. Datenkonsumenten verarbeiten die Daten und schicken sie dann an ein Ziel.
Übersicht über die AWS-Lösungsimplementierung
Die folgenden Diagramme zeigen die vier AWS CloudFormation-Vorlagen, die Sie mit Hilfe des Implementierungsleitfadens der Lösung automatisch bereitstellen können.
Option 1
Option 2
Option 3
Option 4
Option 1
AWS CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
AWS CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Speichert Datensätze in Kinesis-Datenströme. Eine AWS Lambda-Funktion verarbeitet die Datensätze aus dem Datenstrom.
Fehler und fehlgeschlagene Datensätze, die während der AWS Lambda-Verarbeitung auftreten, werden mit Anmerkungen versehen, und die Ereignisse werden im Amazon Simple Queue Service (Amazon SQS) gespeichert.
Eine Amazon Simple Queue Service-Warteschlange speichert Metadaten für fehlgeschlagene Batch-Aufzeichnungen und Lambda-Fehler, sodass Kunden diese Aufzeichnungen abrufen und die nächsten Schritte zu deren Behebung festlegen können.
AWS CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
AWS CloudFormation-Vorlage mit AWS CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 2 – AWS CloudFormation-Vorlage mit AWS CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Diese AWS CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
Amazon Kinesis Producer Library (KPL) nimmt Streaming-Daten auf und verarbeitet die eingehenden Daten mit Hilfe von Amazon Kinesis Data Analytics. Diese Vorlage bietet eine Beispielanwendung, die Daten im Datenstrom veröffentlicht.
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 3 – AWS CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Diese AWS CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die Folgendes umfasst:
Nimmt Streaming-Daten mit Amazon Kinesis Data Streams auf und verarbeitet die Daten mit Amazon Kinesis Data Firehose. Kinesis Data Firehose ist ein vollständig verwalteter Service, der automatisch so skaliert wird, dass er mit dem Durchsatz Ihrer Daten übereinstimmt und keine weitere Verwaltung erfordert.
Ein Amazon CloudWatch-Dashboard überwacht die Datenaufnahme und -pufferung. CloudWatch-Alarme sind auf wesentliche Metriken für Kinesis Data Firehose eingestellt.
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 4 – AWS CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams, Amazon Kinesis Data Analytics und AWS API Gateway einsetzt
Diese AWS CloudFormation-Vorlage stellt eine Referenzarchitektur bereit, die der von Option 2 ähnelt. Diese Vorlage ruft jedoch asynchron einen externen Endpunkt in einer Streaming-Anwendung auf.
Die in dieser Vorlage enthaltene Demo-Anwendung ruft eine AWS Lambda-Funktion auf, und die externe API kann jede vom Amazon API Gateway unterstützte Integration sein (z. B. ein Amazon SageMaker-Endpunkt).
Automatisches Konfigurieren der AWS-Services, die für das leichte Erfassen, Speichern, Verarbeiten und Liefern von Streaming-Daten nötig sind.
Flexibilität
Um sich flexibel an verschiedene Anwendungsfälle und betriebliche Bedürfnisse anpassen zu können, bietet diese Lösung vier AWS CloudFormation-Vorlagen. Sie können diese Lösung verwenden, um neue Servicekombinationen als Grundlage für Ihre Produktionsumgebung zu testen oder um bestehende Anwendungen zu verbessern.
Anwendungsfälle für Echtzeit-Streaming-Daten
Erfassen von Anwendungsprotokollen mit hohem Volumen, Analyse von Clickstream-Daten, dauerhafte Lieferung an einen Data Lake und vieles mehr.
Unabhängig von Daten und Logik
Schnelles Anpassen der Codebausteine der Lösung. Nach der Fertigstellung erfolgt mit den Überwachungsfunktionen der Lösung von Amazon CloudWatch ein schneller Übergang zur Produktion.
Selbst eine Lösung bereitstellen
Durchsuchen Sie unsere Bibliothek der AWS-Lösungsimplementierungen, um Antworten auf häufige Architekturprobleme zu erhalten.
Zum Vergrößern klickenAWS CloudFormation-Vorlage mit AWS CloudFormation-Vorlage mit Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics und Amazon CloudWatch
Zum Vergrößern klickenAWS CloudFormation-Vorlage mit Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose und Amazon S3
Zum Vergrößern klickenAWS CloudFormation-Vorlage, die Amazon API Gateway, Kinesis Data Streams, Amazon Kinesis Data Analytics und AWS API Gateway einsetzt
