La soluzione di dati in streaming per Amazon Kinesis fornisce a AWS CloudFormation dei modelli in cui i dati fluiscono attraverso producer, archiviazione dello streaming, consumer e destinazioni. Per supportare molteplici casi d'uso ed esigenze aziendali, la Soluzione offre quattro modelli AWS CloudFormation. Analogamente alla soluzione per i dati in streaming per Amazon MSK, i modelli vengono configurati per applicare le best practice, in modo da monitorare la funzionalità utilizzando allarmi e pannelli di controllo e proteggere i dati.
Vantaggi
Panoramica della soluzione AWS
-
Opzione 1
-
Opzione 2
-
Opzione 3
-
Opzione 4
-
Opzione 1
-
Modello di AWS CloudFormation con Amazon API Gateway e AWS Lambda
Fai clic per ingrandireModello di AWS CloudFormation con Amazon API Gateway e AWS Lambda
Architettura della soluzione per i dati in streaming per Amazon Kinesis
Opzione 1 - Modello di AWS CloudFormation con Amazon API Gateway, Kinesis Data Streams e AWS Lambda
Questo modello di AWS CloudFormation implementa un'architettura di riferimento che include le seguenti caratteristiche:
- Un'API REST di Amazon API Gateway che funge da proxy per Amazon Kinesis Data Streams, aggiungendo un registro di dati singolo e un elenco di registri di dati.
- Un bacino d'utenza di Amazon Cognito viene utilizzato per controllare chi può invocare i metodi dell'API REST.
- Kinesis Data Streams per archiviare i dati in streaming in entrata.
- Una funzione AWS Lambda elabora i registri provenienti dal flusso dei dati.
- Gli errori e i registri non riusciti che emergono durante l'elaborazione di AWS Lambda vengono annotati e gli eventi archiviati in Amazon Simple Queue Service (Amazon SQS). La coda archivia metadati per registri di batch non riusciti ed errori Lambda, così da consentire ai clienti di recuperare questi registri e determinare le fasi successive per risolverli.
Soluzione per i dati in streaming per Amazon Kinesis
Costo stimato Codice sorgente Opzione 1: Modello di AWS CloudFormation con Amazon API Gateway, Kinesis Data Streams e AWS LambdaVersione 1.7.2
Data di rilascio: 01/2023
Autore: AWSTempo di distribuzione stimato: 5-10 minuti
Utilizza il pulsante in basso per iscriverti e ricevere aggiornamenti in merito alla soluzione.Nota: per iscriversi e ricevere gli aggiornamenti RSS, è necessario disporre di un plug-in RSS abilitato per il browser in uso.
-
Opzione 2
-
Modello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Fai clic per ingrandireModello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Architettura della soluzione per i dati in streaming per Amazon Kinesis
Opzione 2 - Modello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon CloudWatch
Questo modello di AWS CloudFormation implementa un'architettura di riferimento che include le seguenti caratteristiche:
- Un'istanza Amazon Elastic Compute Cloud (Amazon EC2) utilizza Amazon Kinesis Producer Library (KPL) per generare dati.
- Amazon Kinesis Data Streams archivia il flusso dei dati in entrata.
- Kinesis Data Analytics Studio elabora i registri in entrata e salva i dati elaborati in un bucket Amazon Simple Storage Service (Amazon S3).
- Un pannello di controllo di Amazon CloudWatch monitora l’integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.
Soluzione per i dati in streaming per Amazon Kinesis
Versione 1.7.2
Data di rilascio: 01/2023
Autore: AWSTempo di distribuzione stimato: 5-10 minuti
Utilizza il pulsante in basso per iscriverti e ricevere aggiornamenti in merito alla soluzione.Nota: per iscriversi e ricevere gli aggiornamenti RSS, è necessario disporre di un plug-in RSS abilitato per il browser in uso.
-
Opzione 3
-
Modello di AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Fai clic per ingrandireModello di AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Architettura della soluzione per i dati in streaming per Amazon Kinesis
Opzione 3 - Modello di AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Simple Storage Service (Amazon S3)
Questa opzione implementa un'architettura di riferimento che include quanto segue:
- Amazon Kinesis Data Streams archivia i dati in streaming in entrata.
- Amazon Kinesis Data Firehose bufferizza i dati prima di consegnare l'output a un bucket Amazon S3. Si tratta di un servizio completamente gestito che dimensiona automaticamente le risorse in base alla velocità effettiva dei dati e non richiede alcuna attività di amministrazione durante il funzionamento.
- Una pannello di controllo di Amazon CloudWatch monitora l'importazione e il buffering dei dati. I parametri essenziali di Kinesis Data Firehose prevedono l'impostazione di avvisi da parte di CloudWatch.
Soluzione per i dati in streaming per Amazon Kinesis
Versione 1.7.2
Data di rilascio: 01/2023
Autore: AWS
Tempo di distribuzione stimato: 5-10 minuti
Utilizza il pulsante in basso per iscriverti e ricevere aggiornamenti in merito alla soluzione.Nota: per iscriversi e ricevere gli aggiornamenti RSS, è necessario disporre di un plug-in RSS abilitato per il browser in uso.
- Amazon Kinesis Data Streams archivia i dati in streaming in entrata.
-
Opzione 4
-
Modello di AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Fai clic per ingrandireModello di AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Architettura della soluzione per i dati in streaming per Amazon Kinesis
Opzione 4 - Modello di AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics e Amazon API Gateway
Questa opzione implementa un'architettura di riferimento simile all'Opzione 2 che include quanto segue:
- Un'istanzaAmazon Elastic Compute Cloud (Amazon EC2) che utilizza Amazon Kinesis Producer Library (KPL) per generare dati.
- Kinesis Data Streams archivia i dati in streaming in entrata.
- Kinesis Data Analytics elabora i registri di entrata e richiama in modo asincrono un endpoint esterno.
- L'applicazione demo invoca una funzione AWS Lambda.
- L'API esterna può essere qualsiasi integrazione supportata da Amazon API Gateway (ad esempio, un endpoint Amazon SageMaker).
- Un pannello di controllo di Amazon CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.
Soluzione per i dati in streaming per Amazon Kinesis
Versione 1.7.2
Data di rilascio: 01/2023
Autore: AWS
Tempo di distribuzione stimato: 5-10 minuti
Utilizza il pulsante in basso per iscriverti e ricevere aggiornamenti in merito alla soluzione.Nota: per iscriversi e ricevere gli aggiornamenti RSS, è necessario disporre di un plug-in RSS abilitato per il browser in uso.
- Un'istanzaAmazon Elastic Compute Cloud (Amazon EC2) che utilizza Amazon Kinesis Producer Library (KPL) per generare dati.
Contenuto correlato
Questo post descrive l’architettura necessaria per l’inferenza in tempo reale nei dati in streaming utilizzando diversi servizi AWS. Inoltre, presenta l’integrazione di Amazon Kinesis Data Analytics (KDA) con Apache Flink per invocare in modo asincrono i servizi sottostanti o i database.
Sfoglia la nostra biblioteca di soluzioni AWS per ottenere risposte a problemi architetturali comuni.
Trova Partner AWS che ti aiutino a cominciare.
Troverai diagrammi architettonici prescrittivi, esempi di codice e contenuti tecnici per casi d'uso comuni.