Généralités
Utiliser Apache Beam pour créer votre application Kinesis Data Analytics est un processus semblable au démarrage avec Apache Flink. Veuillez suivre les instructions dans la question ci-dessus et assurez-vous d'installer tous les composants nécessaires à l'exécution des applications sur Apache Beam, conformément aux instructions du guide du développeur. Notez que Kinesis Data Analytics prend en charge le kit SDK Java uniquement lorsqu'il s'exécute sur Apache Beam.
Oui, à l'aide de connecteurs Apache Flink DataStream, les applications Amazon Kinesis Data Analytics for Apache Flink peuvent utiliser AWS Glue Schema Registry, une fonctionnalité sans serveur d'AWS Glue. Vous pouvez intégrer Apache Kafka/Amazon MSK et Amazon Kinesis Data Streams à vos charges de travail Amazon Kinesis Data Analytics for Apache Flink en tant que puits ou source. Consultez la documentation utilisateur de Schema Registry pour démarrer et pour en savoir plus.
Concepts clés
Gestion des applications
- Surveillance de Kinesis Data Analytics dans le guide du développeur Amazon Kinesis Data Analytics for Apache Link.
- Surveillance de Kinesis Data Analytics dans le guide du développeur Amazon Kinesis Data Analytics for SQL.
- Octroi d’autorisations dans le guide du développeur Amazon Kinesis Data Analytics for Apache Link.
- Octroi d’autorisations dans le guide du développeur Amazon Kinesis Data Analytics for SQL.
Tarification et facturation
Pour les applications Apache Flink et Apache Beam, vous payez au minimum deux KPU et 50 Go de stockage d'applications actives si votre application Kinesis Data Analytics est active. Pour les applications SQL, vous êtes facturé au minimum une KPU si votre application Kinesis Data Analytics est active.
Création d’applications Apache Flink
Création du code des applications en utilisant Apache Flink
DataStream <GameEvent> rawEvents = env.addSource(
New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,
event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
.keyBy(1)
.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
.apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
- Sources de données de streaming : Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams
- Destinations ou puits : Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service et Amazon S3 (via les intégrations de puits de fichiers)
Oui. Vous pouvez utiliser les applications Java Kinesis Data Analytics for Apache Flink pour répliquer des données entre Amazon Kinesis Data Streams, Amazon MSK et d'autres systèmes. Un exemple fourni dans notre documentation indique comment lire les données d'une rubrique Amazon MSK et les écrire dans une autre.
Oui, il prend en charge les applications de streaming créées à l'aide du kit SDK Java d' Apache Beam (version 2.23). Vous pouvez créer des applications de streaming Apache Beam dans Java et les exécuter à l'aide d'Apache Flink 1.8 sur Amazon Kinesis Data Analytics, Apache Spark (sur site) et d'autres moteurs d'exécution pris en charge par Apache.
Q : Qu'est-ce qu'Apache Beam ?
Apache Beam est un modèle unifié open source permettant de définir des applications et de traitement de données par lot et de streaming qui peuvent être exécutées par plusieurs moteurs d'exécution.
Création d'applications SQL
Configuration des données entrantes pour les applications SQL
Création du code des applications SQL
- Utilisez toujours une instruction SELECT dans le cadre d'une instruction INSERT. Lorsque vous sélectionnez des lignes, vous insérez les résultats dans un autre flux intégré à l'application.
- Utilisez une instruction INSERT dans le cadre d'une pompe. Vous employez une pompe pour donner un caractère continu à une instruction INSERT et écrivez sur un flux intégré à l'application.
- Vous utilisez une pompe pour relier les flux intégrés à l'application entre eux en effectuant une sélection dans un flux au sein d'une application et en l'insérant dans un autre flux intégré à l'application.
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (
ticker_symbol VARCHAR(4),
change DOUBLE,
price DOUBLE);
CREATE OR REPLACE PUMP "STREAM_PUMP" AS
INSERT INTO "DESTINATION_SQL_STREAM"
SELECT STREAM ticker_symbol, change, price
FROM "SOURCE_SQL_STREAM_001";
Configuration des destinations dans les applications SQL
Comparaison avec d’autres solutions de traitement des flux de données
Contrat de niveau de service
Q : Qu’est-ce que garantit le contrat de niveau de service relatif à Amazon Kinesis Data Analytics ?
Notre contrat de niveau de service relatif à Amazon Kinesis Data Analytics garantit un pourcentage de disponibilité mensuel d’au moins 99,9 % pour Amazon Kinesis Data Analytics.
Q : Comment savoir si je peux bénéficier d'un crédit de service au titre du contrat de niveau de service ?
Vous pouvez bénéficier d'un crédit au titre du contrat de niveau de service pour Amazon Kinesis Data Analytics dans le cadre du contrat de niveau de service relatif à Amazon Kinesis Data Analytics si plusieurs zones de disponibilité dans lesquelles vous exécutez une tâche dans la même région ont un pourcentage de disponibilité mensuel inférieur à 99,9 % pendant un cycle de facturation mensuel.
Pour consulter l'intégralité des conditions générales du contrat de niveau de service et en savoir plus sur la marche à suivre pour soumettre une demande, veuillez vous référer à la page de présentation du contrat de niveau de service relatif à Amazon Kinesis.
Démarrer avec Amazon Kinesis Data Analytics


Créez votre première application de streaming à partir de la console Amazon Kinesis Data Analytics.