Die AWS-Streaming-Daten-Lösung für Amazon Kinesis konfiguriert die AWS-Services automatisch, die für das leichte Erfassen, Speichern, Verarbeiten und Liefern von Streaming-Daten nötig sind. Diese Lösung hilft Ihnen bei Anwendungsfällen für Echtzeit-Streaming, wie dem Erfassen von Anwendungsprotokollen mit hohem Volumen, der Analyse von Clickstream-Daten, der dauerhaften Lieferung an einen Data Lake und vielem mehr. Um sich flexibel an verschiedene Anwendungsfälle und betriebliche Bedürfnisse anpassen zu können, bietet diese Lösung zwei AWS CloudFormation-Vorlagen. Entwickler können mit dieser Lösung neue Servicekombinationen als Basis für ihre Produktionsumgebung testen, oder eine vorhandene Anwendung verbessern, die bereit implementiert wurde.
Diese Lösung verkürzt Ihre Entwicklungszeit um Tage, indem sie Folgendes entfernt oder reduziert: Modellieren und Bereitstellen von Ressourcen mit AWS CloudFormation; Einrichten von Amazon CloudWatch-Warnungen, Dashboards, und Protokollierung; die manuelle Implementierung von bewerten Methoden für Streaming-Daten in AWS. Diese Lösung ist von Daten und Logik unabhängig. Sie beginnen mit Codebausteinen und können diese schnell anpassen. Nach der Fertigstellung können Sie mit den Überwachungsfunktionen der Lösung schnell zur Produktion übergehen.
Die AWS-Streaming-Daten-Lösung für Amazon Kinesis nutzt Vorlagen, bei denen Daten durch Produzenten, Streaming-Speicher, Konsumenten und Ziele fließen. Produzenten erzeugen andauernd Daten und schicken diese an Streaming-Speicher, wo sie dauerhaft erfasst und zur Verarbeitung durch einen Datenkonsumenten bereitgestellt werden. Datenkonsumenten verarbeiten die Daten und schicken sie dann an ein Ziel.
Diese Lösung bietet im Moment zwei Vorlagen, doch es befinden sich noch weitere in der Entwicklung. Die AWS CloudFormation-Vorlagen verwenden Amazon Kinesis Data Streams als Streaming-Speicher. Eine Vorlage verwendet Amazon API Gateway für die Eingabe und AWS Lambda als Konsumenten. Die zweite Vorlage verwendet Direkteingabe an Kinesis Data Streams von Amazon Elastic Compute Cloud (Amazon EC2), Amazon Kinesis Data Analytics als Konsumenten und Amazon Simple Storage Service (Amazon S3) als Speicherziel. Mit jeder Vorlage können Sie verschiedene Komponenten kombinieren und erweitern, um Ihre Anforderungen zu erfüllen.
Übersicht über die AWS-Lösungsimplementierung
Diese Lösung konfiguriert automatisch die wesentlichen AWS-Services, die für das leichte Erfassen, Speichern, Verarbeiten und Liefern von Streaming-Daten nötig sind. Zwei Optionen stehen zur Verfügung, jeweils mit anpassbarem Demo-Code. Wählen Sie die Vorlage, die zu Ihrem Anwendungsfall und Ihren betrieblichen Anforderungen passt und legen Sie dann mit dem Implementierungsleitfaden los.
Option 1
Option 2
Option 1
AWS CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
AWS CloudFormation-Vorlage, die Amazon API Gateway und AWS Lambda einsetzt
Diese Vorlage verwendet API Gateway für die Eingabe, was eine Abstraktionsebene vom Streaming-Speicher (Kinesis Data Streams) bietet. Durch diese Ebene können Sie benutzerdefinierte Authentifizierungsverfahren für Datenproduzenten einführen, Quoten für bestimmte Produzenten kontrollieren und den Kinesis-Zielstrom ändern.
Bei dieser Vorlage ist AWS Lambda der Datenkonsument. Dies eignet sich für Anwendungsfälle, die keinen internen Zustand wie Filtern, betriebliche Ereignisverarbeitung und Datenbereinigung erfordern. AWS Lambda bietet eine geringe Angriffsfläche für Fehlerszenarien und ist leicht zu skalieren und zu bedienen.
Lösungsarchitektur – AWS-Streaming-Daten-Lösung für Amazon Kinesis
Option 2 – AWS CloudFormation-Vorlage, die Direkteingabe und Amazon Kinesis Data Analytics verwendet
Die AWS CloudFormation-Vorlage beinhaltet eine Amazon Elastic Compute Cloud (Amazon EC2) Instance, welche Daten mit der Amazon Kinesis Producer Library generiert und auf Kinesis Data Streams schreibt, wo die Datensätze gespeichert werden. Eine Amazon Kinesis Data Analytics für Apache Flink-Anwendung verarbeitet die eingehenden Datensätze und speichert Daten in einem Amazon Simple Storage Service (Amazon S3) Bucket. Ein Amazon CloudWatch-Dashboard überwacht den Zustand, Fortschritt, die Ressourcennutzung und spezifische Ereignisse und Fehler der Anwendung.
Diese AWS CloudFormation-Vorlage benutzt die Direkteingabe von Amazon EC2 zu Kinesis Data Streams. Diese Vorlage eignet sich am besten, wenn Sie Kontrolle über den Code haben, der auf den Kinesis Data Streams schreibt. Sie können eine Kostenoptimierung bieten, indem auf dem Datenproduzenten gepuffert wird und weniger Ressourcen verwaltet werden müssen.
Kinesis Data Analytics für Apache Flink ist der Datenkonsument. Dies eignet sich am besten, wenn Ihre Anwendungsfälle Fähigkeiten wie beständige Anwendung und Exactly-Once-Verarbeitung erfordern. Kinesis Data Analytics für Apache Flink verarbeitet zudem Datenströme mit hohem Volumen effizient und mit geringer Latenz und hoher Verfügbarkeit. Anwendungsfälle, die von diesen Fähigkeiten profitieren können, beinhalten das Streamen von Extract-Transform-Loads (ETL), Echtzeitanalysen und Machine Learning.
Für die von Ihnen gewählten Services enthält jede von der AWS-Streaming-Daten-Lösung für Amazon Kinesis erstellte Amazon CloudFormation-Vorlage Folgendes: empfohlene Standardkonfiguration für erstellte Ressourcen; Amazon CloudWatch Logs; Metriken, Alarme und Dashboards; AWS Identity and Access Management (IAM)-Rollen und verwaltete Richtlinien; Amazon CloudTrail-Setup; bewährte Sicherheitsmethoden, einschließlich Verschlüsselung durch AWS Key Management Service.
Funktionen
Automatisierte Konfigurationen
Automatisches Konfigurieren der AWS-Services, die für das leichte Erfassen, Speichern, Verarbeiten und Liefern von Streaming-Daten nötig sind.
Flexibilität
Um sich flexibel an verschiedene Anwendungsfälle und betriebliche Bedürfnisse anpassen zu können, bietet diese Lösung zwei AWS CloudFormation-Vorlagen. Entwickler können mit dieser Lösung neue Servicekombinationen als Basis für ihre Produktionsumgebung testen, oder eine vorhandene Anwendung verbessern, die bereit implementiert wurde.
Anwendungsfälle für Echtzeit-Streaming-Daten
Erfassen von Anwendungsprotokollen mit hohem Volumen, Analyse von Clickstream-Daten, dauerhafte Lieferung an einen Data Lake und vieles mehr.
Unabhängig von Daten und Logik
Schnelles Anpassen der Codebausteine der Lösung. Nach der Fertigstellung erfolgt mit den Überwachungsfunktionen der Lösung von Amazon CloudWatch ein schneller Übergang zur Produktion.
Selbst eine Lösung bereitstellen
Durchsuchen Sie unsere Bibliothek der AWS-Lösungsimplementierungen, um Antworten auf häufige Architekturprobleme zu erhalten.
