AWS Cloud
Erste Schritte zum Streamen von Daten

Apache Kafka ist ein verteiltes Open Source-Messaging-System, mit dem Sie Echtzeitanwendungen erstellen können, die Streaming-Daten nutzen. Sie können Streaming-Daten wie Website-Clickstreams, Finanztransaktionen und Anwendungsprotokolle an das Kafka-Cluster senden. Darin werden die Daten gepuffert und an Streaming-Anwendungen weitergeleitet, die auf Frameworks wie Apache Spark Streaming, Apache Storm oder Apache Samza basieren.

diagram-kafka

Indem Sie Kafka in Amazon EC2 ausführen, erhalten Sie eine leistungsfähige, skalierbare Lösung zum Erfassen von Streaming-Daten. Damit Sie Kafka in Amazon EC2 bereitstellen können, müssen Sie die EC2 Instance-Typen auswählen und bereitstellen. Installieren und konfigurieren Sie anschließend die Softwarekomponenten wie Kafka und Apache Zookeeper. Stellen Sie dann mithilfe von Amazon Elastic Block Store (EBS) den für den Durchsatz der Streaming-Daten erforderlichen Blockspeicher bereit. Damit das Kafka-Cluster unerwartet Ereignisse bewältigen kann (z. B. über die Streaming-Kapazität hinausgehende Spitzenlasten im Datenvolumen), können Sie mit Apache Zookeeper eine Replikation veranlassen. Auf diese Weise werden die Knoten des Kafka-Clusters verfolgt und die Verteilung der Prozesse auf die Knoten koordiniert. Nach der Installation von Kafka müssen Sie HTTPS bereitstellen, Zertifizierungsstellen verwalten und die Kafka-Instances für SSL konfigurieren, um die Sicherheit des Kafka-Clusters zu gewährleisten.

Indem Sie Kafka-Cluster in Amazon EC2 ausführen, erhalten Sie eine zuverlässige und skalierbare Infrastrukturplattform. Die Überwachung, Skalierung und Verwaltung einer Serverfarm sowie die Verwaltung des Software-Stacks und der Cluster-Sicherheit können jedoch einen erheblichen administrativen Aufwand bedeuten. Amazon Kinesis Streams meistert diese Herausforderung mithilfe eines speziellen verwaltenen Service, der die Verarbeitung von Streaming-Daten in AWS vereinfacht. Er erfasst und speichert Streaming-Daten zuverlässig und stellt sie Streaming-Anwendungen in Echtzeit zur Verfügung. Sie können in der Amazon Kinesis Console mit nur wenigen Mausklicks mithilfe von Amazon Kinesis Streams ein verwaltetes Erfassungssystem für Streaming-Daten bereitstellen. Amazon Kinesis Streams repliziert die Daten automatisch in drei Verfügbarkeitszonen, um die Dauerhaftigkeit Ihrer Daten sicherzustellen. Sie können Datenströme mithilfe der API und durch Integrationen in anderen AWS-Produkten wie AWS IAM, Amazon CloudWatch und AWS CloudTrail auf einfache Weise skalieren, schützen und verwalten.

Verarbeiten Sie die Daten in den Datenströmen mit Streaming-Anwendungen, die auf Amazon Kinesis Analytics oder anderen Streaming-Frameworks wie Spark Streaming und Kinesis Client Library (KCL) basieren. Mithilfe der verarbeiteten Daten können Sie Echtzeit-Dashboards verwalten, Alarme generieren, dynamische Preise implementieren, gezielte Werbung schalten und vieles mehr.

Um mehr über Amazon Kinesis im Vergleich zu Kafka zu erfahren, klicken Sie hier.

440x220_APN-Blog

In diesem Blog wird demonstriert, wie Apache Kafka auf EC2 eingerichtet wird, Spark-Streaming auf EMR zum Verarbeiten von Daten, die in Apache Kafka-Themen eingehen, verwendet wird und Streaming-Daten mit Spark SQL auf EMR abgefragt werden.

Ganzen Blogbeitrag lesen »

In diesem Beitrag wird die Leistung der Kandidaten der Republikaner und der Demokraten mithilfe von öffentlichen Twitter-Streams nahezu in Echtzeit analysiert. Sie erfahren, wie Sie durch die Integration von Amazon Kinesis Firehose, AWS Lambda (Python-Funktion) und Amazon Elasticsearch Service eine ganzheitliche Plattform erstellen, die eine Erkundung nahezu in Echtzeit ermöglicht.

Ganzen Blogbeitrag lesen »

In diesem Blogbeitrag lernen Sie einen einfachen und effizienten Weg kennen, um Daten aus Amazon Kinesis Streams mithilfe von AWS Lambda und Amazon Kinesis Firehose in Amazon S3 beständig zu speichern.

Ganzen Blogbeitrag lesen »

Weitere Blogbeiträge zum Streamen von Daten und Big Data finden Sie im AWS Big Data Blog »


Der Einstieg in Amazon Kinesis ist ganz einfach. Melden Sie sich einfach in der AWS Management Console an und starten Sie Amazon Kinesis.

 

Erste Schritte mit Amazon Kinesis