Sie können Streaming-Anwendungen mit Apache Flink und Apache Beam erstellen
Schritt 1: Laden Sie die Open-Source-Bibliotheken in Ihr bevorzugtes IDE
Sie können damit beginnen, die Open-Source-Bibliotheken herunterzuladen, zu denen AWS SDK, Apache Flink und Konnektoren für AWS-Services zählen.
Schritt 2: Erstellen Sie eine Beispielanwendung mit Apache Flink oder Apache Beam
Sie schreiben Ihren Apache Flink-Anwendungscode mit Daten-Streams und Stream-Operatoren. Die Anwendungs-Daten-Streams sind die Datenstruktur, gegenüber der Sie die Verarbeitung mit Ihrem Anwendungscode durchführen. Die Daten fließen kontinuierlich von den Quellen in die Anwendungs-Daten-Streams. Ein oder mehrere Stream-Operatoren werden verwendet, um Ihre Verarbeitung des Anwendungs-Daten-Streams zu definieren.
Schritt 3: Laden Sie Ihren Code hoch zu Kinesis Data Analytics
Nach der Entwicklung laden Sie Ihren Code zu Amazon Kinesis Data Analytics hoch und die Services führen alles Erforderliche durch, damit Ihre Echtzeit-Anwendungen durchgehend ausgeführt werden. Außerdem skaliert es automatisch, um sich dem Umfang und Durchsatz Ihrer eingehenden Daten anzupassen.
Der Einstieg in Amazon Kinesis Data Analytics Studio ist ganz einfach
Schritt 1: Erstellen einer Amazon-Kinesis-Data-Analytics-Studio-Anwendung
Sie können über die Amazon-Kinesis-Data-Analytics-, Amazon-MSK- oder Amazon-Kinesis-Data-Streams-Konsole starten. Sie können auch benutzerdefinierte Konnektoren verwenden, um sich mit jeder anderen Datenquelle zu verbinden.
Schritt 2: Schreiben Sie Code im serverlosen Notebook in SQL, Python und Scala und entwickeln Sie schnell Apache-Flink-Anwendungen
Sie können einzelne Abschnitte in der Notiz ausführen, Ergebnisse im Kontext betrachten und die integrierte Visualisierung von Apache Zeppelin nutzen, um die Entwicklung zu beschleunigen. Sie können auch benutzerdefinierte Funktionen in Ihrem Code verwenden.
Schritt 3: Erstellen und Bereitstellen als Kinesis-Data-Analytics-Streaming-Anwendung
Mit nur wenigen Klicks können Sie Ihren Code als kontinuierlich laufende Stream-Processing-Anwendung bereitstellen. Ihre bereitgestellte Anwendung wird eine Kinesis-Data-Analytics-for-Apache-Flink-Anwendung mit Langlebigkeit und Autoskalierung sein. Sie erhalten auch die Möglichkeit, Quellen, Ziele, Protokollierungs- und Überwachungsebenen zu ändern, bevor Sie Ihren Code produktiv setzen.
Erste Schritte mit Amazon Kinesis Data Analytics SQL
Um zu beginnen, erstellen Sie eine neue Amazon-Kinesis-Data-Analytics-Anwendung. Wählen Sie als Eingabe den bereitgestellten Demo-Stream, suchen Sie eine Vorlage aus und bearbeiten Sie die SQL-Abfrage. Sie können dann die Ergebnisse direkt in der Konsole anzeigen oder die Ausgabe mit Kibana in Amazon Elasticsearch Service laden. Innerhalb weniger Minuten sind Sie in der Lage, eine komplette Streaming-Daten-Anwendung bereitzustellen.
Schritt 1: Eingabe-Stream konfigurieren
Rufen Sie zuerst die Amazon Kinesis Data Analytics-Konsole auf und wählen Sie einen Kinesis-Datenstrom oder einen Kinesis Data Firehose-Lieferdatenstrom als Eingabe aus. Amazon Kinesis Data Analytics nimmt die Daten entgegen, erkennt automatisch Standard-Datenformate und schlägt ein Schema vor. Sie können dieses Schema verfeinern. Wenn Ihre Eingabedaten nicht strukturiert sind, können Sie mit unserem intuitiven Schema-Editor ein neues Schema definieren.
Schritt 2: SQL-Abfragen schreiben
Schreiben Sie als Nächstes im SQL-Editor von Amazon Kinesis Data Analytics und mithilfe der integrierten Vorlagen Ihre SQL-Abfragen zum Verarbeiten der Streaming-Daten und testen Sie sie Live mit Streaming-Daten.
Schritt 3: Ausgabe-Stream konfigurieren
Geben Sie abschließend die Ziele für die Resultate an. Amazon Kinesis Data Analytics und Amazon Kinesis Data Streams sowie Amazon Kinesis Data Firehose können sofort integriert werden, sodass es einfach ist, die verarbeiteten Ergebnisse an Amazon S3, Amazon Redshift, Amazon Elasticsearch Service oder Ihr eigenes benutzerdefiniertes Ziel zu senden.
E-Learning
Eigenverantwortliches Training für die Entwicklung von Apache-Flink-Anwendungen auf Amazon Kinesis Data Analytics
In diesem Workshop entwickeln Sie eine End-to-End-Streaming-Architektur, um Streaming-Daten nahezu in Echtzeit einzuspeisen, zu analysieren und zu visualisieren. Sie haben vor, den Betrieb eines Taxiunternehmens in New York City zu verbessern. Sie analysieren die Telemetriedaten einer Taxiflotte in New York City nahezu in Echtzeit, um den Betrieb der Flotte zu optimieren.
AWS-Streaming-Daten-Lösung für Amazon Kinesis
Verwenden Sie eine vorgefertigte Lösung für einen schnellen Einstieg. Verwenden Sie die AWS Streaming Data Solution für Amazon Kinesis, um Anwendungsfälle für Echtzeit-Streaming zu lösen, wie etwa die Erfassung hochvolumiger Anwendungsprotokolle, die Analyse von Clickstream-Daten, die kontinuierliche Bereitstellung an einen Data Lake und vieles mehr.
Einführung in Amazon Kinesis Data Analytics mit Apache Flink
Das 15-minütige Trainingsvideo erklärt, wie Sie Apache-Flink-Anwendungen in Amazon Kinesis Data Analytics anwenden können, um aktuellere Erkenntnisse Ihrer Daten zu erhalten.
Erste Schritte mit Amazon Kinesis Data Analytics
Sie erhalten sofort Zugriff auf das kostenlose AWS-Kontingent.
Weitere Informationen zur Verwendung von Amazon Kinesis Data Analytics finden Sie in dieser Schritt-für-Schritt-Anleitung für SQL bzw. Apache Flink.
Erstellen Sie Ihre Streaming-Anwendung mit der Amazon Kinesis Data Analytics-Konsole.