Allgemeines
Die Verwendung von Apache Beam zur Erstellung Ihrer Kinesis Data Analytics Anwendung ist dem Einstieg mit Apache Flink sehr ähnlich. Bitte folgen Sie den Anweisungen in der obigen Frage und stellen Sie sicher, dass Sie alle Komponenten, die für die Ausführung von Anwendungen auf Apache Beam erforderlich sind, gemäß den Anweisungen im Entwicklerhandbuch installieren. Beachten Sie, dass Kinesis Data Analytics Java SDKs nur unterstützt, wenn es auf Apache Beam läuft.
Ja, unter Verwendung von Apache Flink DataStream Konnektoren kann Amazon Kinesis Data Analytics für Apache Flink Anwendungen AWS Glue Schema Registry, eine serverlose Funktion von AWS Glue, verwenden. Sie können Apache Kafka/Amazon MSK und Amazon Kinesis Data Streams als Senke oder Quelle in Ihre Amazon Kinesis Data Analytics für Apache Flink Workloads integrieren. Besuchen Sie die Benutzerdokumentation von Schema Registry für die ersten Schritte und weitere Informationen.
Wichtige Konzepte
Verwalten von Anwendungen
- Überwachen von Kinesis Data Analytics im Amazon Kinesis Data Analytics for Apache Flink Developer Handbuch.
- Überwachen von Kinesis Data Analytics im Amazon Kinesis Data Analytics for SQL Developer Handbuch.
- Erteilung von Berechtigungen im Amazon Kinesis Data Analytics for Apache Flink Developer Guide.
- Erteilung von Berechtigungen im Amazon Kinesis Data Analytics for SQL Developer Guide.
Preise und Abrechnung
Für Apache Flink und Apache Beam Anwendungen werden Ihnen mindestens zwei KPUs und 50 GB laufender Anwendungsspeicher berechnet, wenn Ihre Kinesis Data Analytics Anwendung läuft. Wenn Ihre Kinesis Data Analytics-Anwendung ausgeführt wird, wird Ihnen für SQL-Anwendungen mindestens eine KPU in Rechnung gestellt.
Erstellen von Apache-Flink-Anwendungen
Erstellen von Anwendungscode für Anwendungen mit Apache Flink
DataStream <GameEvent> rawEvents = env.addSource(
New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,
event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
.keyBy(1)
.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
.apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
- Streaming-Datenquellen: Amazon Managed Streaming für Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams
- Ziele oder Sinks: Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service und Amazon S3 (durch die Sink-Integrationen)
Ja. Sie können Kinesis Data Analytics for Apache Flink-Anwendungen verwenden, um Daten zwischen Amazon Kinesis Data Streams, Amazon MSK und anderen Systemen zu replizieren. Ein Beispiel aus unserer Dokumentation zeigt, wie ein Amazon MSK-Thema ausgelesen und ein anderes beschrieben wird.
Ja, unterstützt Streaming-Anwendungen, die mit Apache Beam Java SDK Version 2.23 erstellt wurden. Sie können Apache Beam-Streaming-Anwendungen in Java erstellen und sie mit Apache Flink 1.8 auf Amazon Kinesis Data Analytics, Apache Spark, das On-Premise ausgeführt wird, und anderen von Apache unterstützten Ausführungsmaschinen ausführen.
F: Was ist Apache Beam?
Apache Beam ist ein einheitliches Open-Source-Modell zur Definition von Anwendungen für Streaming- und Batch-Datenverarbeitung, die über mehrere Ausführungs-Engines ausgeführt werden können.
Erstellen von SQL-Anwendungen
Konfigurieren von Eingaben für SQL-Anwendungen
Erstellen von Anwendungscode für SQL-Anwendungen
- Verwenden Sie eine SELECT-Anweisung immer im Kontext mit einer INSERT-Anweisung. Wenn Sie Zeilen auswählen, fügen Sie Ergebnisse in einen anderen In-Application-Stream ein.
- Verwenden Sie eine INSERT-Anweisung im Kontext mit einem Pump. Sie verwenden einen Pump, um eine INSERT-Anweisung kontinuierlich zu machen und schreiben in einen In-Application-Stream.
- Sie verwenden einen Pump, um In-Application-Streams zu verknüpfen, wobei Sie von einem In-Application-Stream auswählen und in einen anderen In-Application-Stream einfügen.
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (
ticker_symbol VARCHAR(4),
change DOUBLE,
price DOUBLE);
CREATE OR REPLACE PUMP "STREAM_PUMP" AS
INSERT INTO "DESTINATION_SQL_STREAM"
SELECT STREAM ticker_symbol, change, price
FROM "SOURCE_SQL_STREAM_001";
Konfigurieren von Zielen in SQL-Anwendungen
Vergleich mit anderen Lösungen für die Stream-Verarbeitung
Service Level Agreement
F: Was bietet mir die Amazon Kinesis Data Analytics-SLA-Garantie?
Unser Amazon Kinesis Data Analytics-SLA garantiert einen monatlichen Verfügbarkeitsprozentsatz von mindestens 99,9 % für Amazon Kinesis Data Analytics.
F: Wie erfahre ich, ob ich für eine Gutschrift aus dem SLA qualifiziert bin?
Sie sind für eine SLA-Gutschrift für Amazon Kinesis Data Analytics im Rahmen des Amazon Kinesis Data Analytics-SLA anspruchsberechtigt, wenn mehr als eine Availability Zone, in der Sie eine Aufgabe ausführen, innerhalb derselben Region während eines beliebigen monatlichen Abrechnungszyklus einen monatlichen Verfügbarkeitsprozentsatz von weniger als 99,9 % aufweist.
Ausführliche Informationen zu allen Bestimmungen des SLA sowie Einzelheiten zur Geltendmachung eines Anspruchs finden Sie auf der Amazon Kinesis-SLA-Detailseite.
Erste Schritte mit Amazon Kinesis Data Analytics

Weitere Informationen zur Verwendung von Amazon Kinesis Data Analytics finden Sie in dieser Schritt-für-Schritt-Anleitung für SQL bzw. Apache Flink.

Erstellen Sie Ihre erste Streaming-Anwendung mit der Amazon Kinesis Data Analytics-Konsole.