Features von Amazon Managed Service für Apache Flink

Amazon Managed Service für Apache Flink beinhaltet Open-Source-Bibliotheken wie Apache Flink, Apache Beam, Apache Zeppelin, AWS-SDK und AWS-Serviceintegrationen. Apache Flink ist ein Framework und eine Engine zum Erstellen hochverfügbarer und präziser Streaming-Anwendungen. Apache Beam ist ein einheitliches Modell zur Definition von Streaming- und Batch-Anwendungen für die Datenverarbeitung, die über mehrere Laufzeit-Engines ausgeführt werden. AWS-SDKs tragen dazu bei, die Komplexität der Codierung für viele AWS-Services zu reduzieren, indem diese APIs in Ihrer bevorzugten Sprache bereitstellen und AWS-Bibliotheken, Codebeispiele und Dokumentation enthalten. 

Amazon Managed Service für Apache Flink unterstützt die flexiblen APIs von Flink in Java, Scala, Python und SQL, die auf verschiedene Anwendungsfälle spezialisiert sind, einschließlich zustandsbehafteter Ereignisverarbeitung, Streaming-ETL („Extract, Transform and Load“) und Echtzeitanalysen. Mit vorgefertigten Operatoren und Analysefunktionen können Sie eine Apache Flink Streaming-Anwendung in Stunden statt in Monaten erstellen. Die Bibliotheken sind erweiterbar, so dass Sie Echtzeitverarbeitung für eine Vielzahl von Anwendungsfällen durchführen können.

Sie können eine Datenquelle oder ein Datenziel mit minimalem Code einrichten und integrieren. Verwenden Sie den Amazon Managed Service für Apache-Flink-Bibliotheken zur Integration mit den folgenden AWS-Services:  

• Amazon S3
• Amazon MSK
• Amazon OpenSearch Service
• Amazon DynamoDB
• Amazon Kinesis Data Streams
• Amazon Kinesis Data Firehose
• Amazon CloudWatch
• AWS Glue Schema Registry

Zusätzlich zu den AWS-Integrationen enthalten die Bibliotheken von Amazon Managed Service für Apache Flink mehr als 40 Apache-Flink-Konnektoren und die Möglichkeit, benutzerdefinierte Integrationen zu erstellen. Mit ein paar weiteren Codezeilen können Sie das Verhalten jeder Integration mit erweiterten Funktionen ändern. Sie können auch benutzerdefinierte Integrationen mit einer Reihe von Apache-Flink-Primitiven erstellen. Dadurch können Sie von Dateien, Verzeichnissen, Sockets oder anderen Quellen, auf die über das Internet zugegriffen wird, lesen und schreiben.

Mit Amazon Managed Service für Apache Flink können Sie Anwendungen erstellen, bei denen verarbeitete Datensätze die Ergebnisse genau einmal beeinflussen, was als genau einmalige Verarbeitung bezeichnet wird. Selbst im Falle einer Anwendungsunterbrechung, wie z. B. einer internen Servicewartung oder einer vom Benutzer initiierten Anwendungsaktualisierung, stellt der Service sicher, dass alle Daten verarbeitet werden und keine doppelten Daten vorhanden sind.

Der Service speichert frühere und laufende Berechnungen oder Status im laufenden Anwendungsspeicher. Vergleichen Sie Echtzeit- und vergangene Ergebnisse über einen beliebigen Zeitraum hinweg und gewährleisten Sie eine schnelle Wiederherstellung bei Anwendungsunterbrechungen. Der Status wird immer verschlüsselt und schrittweise im laufenden Anwendungsspeicher gespeichert.

Über einen einfachen API-Aufruf dauerhafte Anwendungsdatensicherungen erstellen und löschen. Sie können Ihre Anwendungen nach einer Unterbrechung sofort aus dem letzten Backup wiederherstellen oder auf eine frühere Version zurücksetzen. 

Amazon Managed Service für Apache Flink unterstützt Machine-Learning-Algorithmen (ML). Sie können Echtzeitanwendungen für Klassifizierung, Clustering, Auswertung, Empfehlungen für die Feature Engineering, Regressionen und Statistik erstellen. 

Amazon Managed Service für Apache Flink ist mit AWS Glue Schema Registry kompatibel. Die Schema Registry hilft Ihnen dabei, die Datenqualität zu verbessern und sich vor unerwarteten Änderungen zu schützen. Dabei werden Kompatibilitätsprüfungen durchgeführt, die die Schemaentwicklung für Ihre Schemas in Workloads von Amazon Managed Service für Apache Flink steuern, die mit Apache Kafka, Amazon MSK oder Amazon Kinesis Data Streams als Quell- oder Senken-Konnector verbunden sind.