Open Source

Amazon Kinesis Data Analytics beeinhaltet Open-Source-Bibliotheken wie Apache Flink, Apache Beam, Apache ZeppelinAWS SDK und AWS-Serviceintegrationen. Apache Flink ist ein Open-Source-Framework und eine Engine zum Erstellen von hochverfügbaren und genauen Streaming-Anwendungen. Apache Beam ist ein einheitliches Open-Source-Modell zur Definition von Anwendungen für Streaming- und Batch-Datenverarbeitung, die über mehrere Ausführungs-Engines ausgeführt werden. Mit den AWS Software Development Kits (SDKs) ist die Programmierung für viele AWS-Services einfacher, weil es Programmierschnittstellen (APIs) in Ihrer bevorzugten Sprache bietet sowie die AWS-Bibliotheken, Code-Beispiele und Dokumentation enthält.

Flexible APIs

Kinesis Data Analytics bietet flexible APIs in Java, Scala, Python und SQL, die auf unterschiedliche Anwendungsfälle spezialisiert sind, einschließlich zustandsbehafteter Ereignisverarbeitung, Streaming-ETL und Echtzeitanalysen. Die integrierten Operatoren und Analysemöglichkeiten ermöglichen es Ihnen, eine Apache-Flink-Streaming-Anwendung in wenigen Stunden statt in mehreren Monaten zu erstellen. Die Bibliotheken von Kinesis Data Analytics sind erweiterbar, so dass Sie für eine Vielzahl von Anwendungsfällen eine Echtzeitverarbeitung durchführen können.

AWS-Service-Integrationen

Sie können eine Datenquelle oder ein Datenziel mit minimalem Code einrichten und integrieren. Sie können die Bibliotheken von Amazon Kinesis Data Analytics verwenden, um Amazon Simple Storage Service (S3), Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch ServiceAmazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon CloudWatch und AWS Glue Schema Registry zu integrieren.

Erweiterte Integrationsmöglichkeiten

Zusätzlich zu den AWS-Integrationen enthalten die Bibliotheken von Kinesis Data Analytics mehr als zehn Konnektoren von Apache Flink und die Möglichkeit, kundenspezifische Integrationen zu erstellen. Mit ein paar weiteren Zeilen Code können Sie das Verhalten jeder Integration mit erweiterten Funktionen ändern. Außerdem können Sie benutzerdefinierte Integrationen mit einer Reihe von Apache-Flink-Primitiven erstellen. Mit ihnen können Sie Dateien, Verzeichnisse, Sockets oder andere Quellen, auf die Sie über das Internet zugreifen können, lesen und beschreiben.

Kompatibel mit AWS Glue Schema Registry

Kinesis Data Analytics für Apache Flink ist kompatibel mit AWS Glue Schema Registry. Diese Serverless-Funktion von AWS Glue, ermöglicht Ihnen die Validierung und Steuerung von Streaming-Daten mit registrierten Apache-Avros-Schemas ohne Aufpreis. Schema Registry hilft Ihnen bei der Verwaltung Ihrer Schemas auf Kinesis Data Analytics für Apache-Flink-Workloads, die eine Verbindung zu Apache Kafka, Amazon Managed Streaming for Apache Kafka (MSK) oder Amazon Kinesis Data Streams herstellen, entweder als Quelle oder Senke. Wenn Daten-Streaming-Anwendungen in Schema Registry integriert werden, können Sie die Datenqualität verbessern und sich gegen unerwartete Änderungen schützen, indem Sie Kompatibilitätsprüfungen verwenden, die die Schemaentwicklung steuern.

Exakt eine Verarbeitung

Verwenden Sie Apache Flink in Kinesis-Data-Analytics-Anwendungen, wo verarbeitete Datensätze die Ergebnisse genau einmal beeinflussen, was als einmalige Verarbeitung bezeichnet wird. Selbst bei einem Anwendungsausfall – etwa bei einer internen Servicewartung oder eines vom Benutzer initiierten Anwendungsupdates – stellt der Service sicher, dass alle Daten verarbeitet werden und es keine doppelten Daten gibt.

Zustandsbehaftete Verarbeitung

Der Service speichert frühere und laufende Berechnungen oder Status im laufenden Anwendungsspeicher. Vergleichen Sie Echtzeit- und vergangene Ergebnisse über einen beliebigen Zeitraum hinweg und gewährleisten Sie eine schnelle Wiederherstellung bei Anwendungsunterbrechungen. Der Status wird immer verschlüsselt und schrittweise im laufenden Anwendungsspeicher gespeichert.

Langlebige Anwendungs-Backups

Sie können über einen einfachen API-Aufruf dauerhafte Anwendungsdatensicherungen erstellen und löschen. Sie können Ihre Anwendungen nach einer Unterbrechung sofort aus dem letzten Backup wiederherstellen oder auf eine frühere Version zurücksetzen. 

Amazon Kinesis Data Analytics Studio

Stream-Inspektion und Visualisierung

Kinesis Data Analytics Studio unterstützt Abfragen im Sekundentakt mit integrierten Visualisierungen. Sie können Ad-hoc-Abfragen durchführen, um Ihren Datenstrom schnell zu untersuchen und die Ergebnisse in Sekundenschnelle anzuzeigen.

Einfache Build-and-Run-Umgebung

Studio-Notebooks bieten eine Entwicklungsumgebung mit einer einzigen Oberfläche für die Entwicklung, das Debugging von Code und die Ausführung von Stream-Verarbeitungsanwendungen.

Verarbeitung mit SQL, Python oder Scala

Kinesis Data Analytics Studio unterstützt SQL, Python und Scala in der gleichen Entwicklungsumgebung. Syntaxhervorhebung, Validierung und kontextabhängige Vorschläge führen Sie innerhalb des Notebooks zur Interaktion mit Ihren Daten mit integrierter Unterstützung für Apache-Flink-spezifische Funktionen.

Schnelle Anwendungsentwicklung mit Serverless-Stream-Verarbeitung

Sie müssen keine Server bereitstellen, verwalten oder skalieren. Schreiben Sie Code und bezahlen Sie für die Ressourcen, die Ihre Anwendungen verbrauchen. Stellen Sie Ihren Code im Notebook einfach zu einer kontinuierlich laufenden Stream-Verarbeitungsanwendung mit Autoskalierung und dauerhaftem Zustand bereit.

Open Source

Kinesis Data Analytics Studio läuft auf Apache Flink und produziert Apache-Flink-Anwendungen, die in der Produktion eingesetzt werden. Apache-Zeppelin-Notebooks bieten eine vertraute Erfahrung mit einfacher Bedienung für die Erstellung von Streaming-Anwendungen in einer Sprache Ihrer Wahl.

Integriert mit dem AWS Glue Data Catalog

Der AWS-Glue-Datenkatalog ist ein persistenter Metadatenspeicher, der als zentrales Repository mit Tabellendefinitionen dient. Sie können mithilfe des AWS Glue Data Catalog schnell mehrere AWS-Datensätze durchsuchen. Kinesis Data Analytics Studio ist mit dem AWS Glue Data Catalog kompatibel, in dem Sie das Schema für Ihre Quell- und Zieltabellen definieren können.

SQL-Anwendungen für Kinesis Data Analytics

Für neue Projekte empfehlen wir, das neue Kinesis Data Analytics Studio über Kinesis Data Analytics für SQL-Anwendungen zu verwenden. Kinesis Data Analytics Studio kombiniert Benutzerfreundlichkeit mit fortschrittlichen Analysefunktionen und ermöglicht es Ihnen, in wenigen Minuten anspruchsvolle Stream-Verarbeitungsanwendungen zu erstellen.

Unterstützung für Standard-SQL

Kinesis Data Analytics unterstützt Standard-ANSI-SQL, sodass Sie lediglich mit SQL vertraut sein müssen.

Integrierte Eingaben und Ausgaben

Amazon Kinesis Data Streams und Amazon Kinesis Data Firehose lassen sich in Kinesis Data Analytics integrieren, damit die Streaming-Daten bequem aufgenommen werden können. Richten Sie Kinesis Data Analytics einfach auf den Input-Stream und er liest die Daten automatisch aus, analysiert sie und stellt sie für die Verarbeitung zur Verfügung. Sie können die verarbeiteten Resultate mit Kinesis Data Firehose an andere AWS-Services wie Amazon S3, Amazon Redshift und Amazon OpenSearch Service weiterleiten. Außerdem können Sie Ausgabedaten an Amazon Kinesis Data Streams senden, um komplexe Pipelines zur Stream-Verarbeitung aufzubauen.

Konsolenbasierter SQL-Editor

Verwenden Sie einen konsolenbasierten Editor, der Ihnen die Erstellung von SQL-Abfragen mit Streaming-Datenvorgängen erleichtert, etwa durch Durchschnittswerte für variable Zeitfenster. Außerdem können Sie die Streaming-Resultate und ‑Fehler auch anhand von Live-Daten anzeigen, um Fehler zu beheben oder Ihr Skript interaktiv zu optimieren.

Benutzerfreundlicher Schema-Editor

Kinesis Data Analytics umfasst einen einfach zu verwendenden Schema-Editor, mit dem Sie die Struktur der Eingabedaten ermitteln und bearbeiten können. Der Assistent erkennt automatisch Standarddatenformate wie JSON und CSV. Er leitet die Struktur der Eingabedaten zu einem Baseline-Schema ab, das Sie mit dem Schema-Editor optimieren können.

Vorgefertigte SQL-Vorlagen

Der interaktive SQL-Editor umfasst eine umfangreiche Sammlung an SQL-Vorlagen, die einen grundlegenden SQL-Code für die gängigsten Vorgangstypen enthalten, etwa die Aggregation, Transformation pro Ereignis und Filterung. Sie wählen einfach die geeignete Vorlage für Ihre Analyseaufgabe aus und passen dann den Code mit dem SQL-Editor an Ihren speziellen Anwendungsfall an.

Erweiterte Funktionen für die Stream-Verarbeitung

Kinesis Data Analytics bietet Funktionen, die für die Stream-Verarbeitung optimiert sind, sodass Sie problemlos komplexe Analysen Ihrer Streaming-Daten durchführen können, etwa die Anomalieerkennung und Top-K-Analyse.

Erste Schritte mit Amazon Kinesis Data Analytics

Seite zur Preisgestaltung für Kinesis Data Analytics besuchen
Kosten berechnen

Besuchen Sie die Seite zur Preisgestaltung für Amazon Kinesis Data Analytics.

Handbuch „Erste Schritte“ lesen
Lesen Sie das Handbuch „Erste Schritte“

Weitere Informationen zur Verwendung von Amazon Kinesis Data Analytics finden Sie in dieser Schritt-für-Schritt-Anleitung für SQL und Apache Flink.

Beginnen Sie mit der Entwicklung in der Konsole
Entwickeln Sie Streaming-Anwendungen

Erstellen Sie Ihre Streaming-Anwendung mit der Amazon Kinesis Data Analytics-Konsole.