- Analytik›
- Amazon Managed Service für Apache Flink›
- Erste Schritte
Erste Schritte mit Amazon Managed Service für Apache Flink
Warum Amazon Managed Service für Apache Flink?
Erstellen von Streaming-Anwendungen mit Apache Flink und Apache Beam
1
Schritt 1: Laden Sie die Open-Source-Bibliotheken in Ihre bevorzugte IDE herunter
Sie können damit beginnen, die Open-Source-Bibliotheken herunterzuladen, darunter das AWS-SDK, Apache Flink und Konnektoren für AWS-Services.
2
Schritt 2: Erstellen Sie eine Beispielanwendung mit Apache Flink oder Apache Beam
Sie schreiben Ihren Apache Flink-Anwendungscode mit Daten-Streams und Stream-Operatoren. Die Anwendungs-Daten-Streams sind die Datenstruktur, gegenüber der Sie die Verarbeitung mit Ihrem Anwendungscode durchführen. Die Daten fließen kontinuierlich von den Quellen in die Anwendungs-Daten-Streams. Ein oder mehrere Stream-Operatoren werden verwendet, um Ihre Verarbeitung des Anwendungs-Datenströme zu definieren.
3
Schritt 3: Laden Sie Ihren Code für Apache Flink in Amazon Managed Service hoch
Laden Sie Ihren Code nach der Erstellung in Amazon Managed Service für Apache Flink hoch. Der Service kümmert sich um alles, was für die kontinuierliche Ausführung Ihrer Echtzeit-Anwendungen erforderlich ist. Außerdem passt es sich automatisch an den Umfang und den Durchsatz Ihrer eingehenden Daten an.
Intuitive Nutzung des Amazon Managed Service für Apache Flink Studio
1
Schritt 1: Erstellen Sie eine Anwendung für Amazon Managed Service für Apache Flink Studio
Starten Sie über die Konsole von Amazon Managed Service für Apache Flink, Amazon MSK oder Amazon Kinesis Data Streams. Verwenden Sie benutzerdefinierte Konnektoren, um eine Verbindung zu jeder anderen Datenquelle herzustellen.
2
Schritt 2: Schreiben Sie Code im Serverless-Notebook in SQL, Python und Scala und erstellen Sie Apache-Flink-Anwendungen
Führen Sie einzelne Abschnitte im Notebook aus, zeigen Sie die Ergebnisse im Kontext an und verwenden Sie die integrierte Visualisierung von Apache Zeppelin, um die Entwicklung zu beschleunigen. Sie können auch benutzerdefinierte Funktionen in Ihrem Code verwenden.
3
Schritt 3: Streaming-Anwendung von Amazon Managed Service für Apache Flink erstellen und bereitstellen
Stellen Sie Ihren Code in nur wenigen Schritten als kontinuierlich laufende Anwendung zur Stream-Verarbeitung bereit. Bei Ihrer bereitgestellten Anwendung handelt es sich um eine Anwendung von Amazon Managed Service für Apache Flink mit dauerhaftem Status und Auto Scaling. Sie haben auch die Möglichkeit, Quellen, Ziele, Protokollierungs- und Überwachungsebenen zu ändern, bevor Sie Ihren Code in Produktion geben.
E-Learning
In diesem Workshop entwickeln Sie eine durchgängige Streaming-Architektur zur Aufnahme, Analyse und Visualisierung von Datenströmen in nahezu Echtzeit. Sie werden den Flottenbetrieb eines Taxiunternehmens in New York City optimieren, indem Sie die Telemetriedaten der Taxiflotte nahezu in Echtzeit analysieren.
Nutzen Sie eine vorgefertigte Lösung, um schnell loszulegen. Mit der AWS-Streaming-Datenlösung für Amazon Managed Service für Apache Flink können Sie Echtzeit-Streaming-Anwendungsfälle lösen, z. B. die Erfassung umfangreicher Anwendungsprotokolle, die Analyse von Clickstream-Daten, die kontinuierliche Bereitstellung an einen Data Lake und vieles mehr.
In diesem Workshop erstellen Sie eine Anwendung zur Stream-Verarbeitung, um Kunden zu identifizieren, die Ihr Casino betreten und große Wetten tätigen. Die Anwendung sendet Ihnen eine E-Mail, wenn große Geldgeber sich an einen Spieltisch setzen. Sie werden auch Tische identifizieren, an denen Chips aufgefüllt werden müssen, und Sie werden potenzielle Betrüger in Ihrem Casino anhand ihrer Einsatz- und Gewinnmuster identifizieren.
In dieser fünfteiligen Lernserie erstellen Sie mithilfe von Amazon Managed Service für Apache Flink Studio eine moderne Datenstreaming-Architektur für eine Gaming-Bestenliste in Echtzeit. Diese Architektur umfasst die Datenerfassung, die Anreicherung in Echtzeit mit Database Change Data Capture (CDC), die Datenverarbeitung sowie die Berechnung, Speicherung und Visualisierung der Ergebnisse.