Panoramica
La soluzione di dati in streaming per Amazon Kinesis fornisce a AWS CloudFormation dei modelli in cui i dati fluiscono attraverso producer, archiviazione dello streaming, consumer e destinazioni. Per supportare molteplici casi d'uso ed esigenze aziendali, la soluzione offre quattro modelli AWS CloudFormation. Analogamente alla soluzione per i dati in streaming per Amazon MSK, i modelli vengono configurati per applicare le best practice, in modo da monitorare la funzionalità utilizzando allarmi e pannelli di controllo e proteggere i dati.
È necessario acquisire i dati in streaming in modo durevole usando un'archiviazione altamente scalabile in grado di gestire elevati volumi di dati provenienti dai data producer. Per producer si intendono migliaia di origini dati, ognuna delle quali genera continuamente dati in streaming, inviati, di solito, sotto forma di record di piccole dimensioni (kilobyte) in contemporanea.
I flussi di dati sono composti da svariati tipi di dati, ad esempio i file di log generati dai clienti che utilizzano applicazioni Web o su dispositivi mobili, acquisti effettuati su siti di e-commerce, eventi all'interno di videogiochi, informazioni provenienti da social network, dati di transazioni finanziarie, servizi di geolocalizzazione e di telemetria relativi a dispositivi connessi o strumentazioni in data center.
Vantaggi
Dettagli tecnici
-
Opzione 1
-
Opzione 2
-
Opzione 3
-
Opzione 4
-
Opzione 1
-
Modello di AWS CloudFormation con Amazon API Gateway e AWS Lambda
Modello di AWS CloudFormation con Amazon API Gateway e AWS Lambda
Opzione 1 - Modello di AWS CloudFormation con Gateway Amazon API, flusso di dati Kinesis e AWS Lambda
Fase 1
Una REST API di Gateway Amazon API che funge da proxy per flusso di dati Amazon Kinesis, aggiungendo un registro di dati singolo e un elenco di record di dati.Fase 2
Un pool di utenti di Amazon Cognito viene utilizzato per controllare chi può invocare i metodi della REST API.Fase 3
Flusso di dati Kinesis per archiviare i dati in streaming in entrata.Fase 4
Una funzione AWS Lambda elabora i record provenienti dal flusso di dati.Fase 5
Gli errori e i registri non riusciti che emergono durante l'elaborazione di AWS Lambda vengono annotati e gli eventi archiviati in Amazon Simple Queue Service (Amazon SQS). La coda archivia metadati per registri di batch non riusciti ed errori Lambda, così da consentire ai clienti di recuperare questi registri e determinare le fasi successive per risolverli.Opzione 1 - Modello di AWS CloudFormation con Gateway Amazon API, flusso di dati Kinesis e AWS Lambda
Fase 1
Una REST API di Gateway Amazon API che funge da proxy per flusso di dati Amazon Kinesis, aggiungendo un registro di dati singolo e un elenco di record di dati.Fase 2
Un pool di utenti di Amazon Cognito viene utilizzato per controllare chi può invocare i metodi della REST API.Fase 3
Flusso di dati Kinesis per archiviare i dati in streaming in entrata.Fase 4
Una funzione AWS Lambda elabora i record provenienti dal flusso di dati.Fase 5
Gli errori e i registri non riusciti che emergono durante l'elaborazione di AWS Lambda vengono annotati e gli eventi archiviati in Amazon Simple Queue Service (Amazon SQS). La coda archivia metadati per registri di batch non riusciti ed errori Lambda, così da consentire ai clienti di recuperare questi registri e determinare le fasi successive per risolverli.Contenuto correlato
Blog sull'architettura di AWSInferenza in streaming in tempo reale con AWS Kinesis, SageMaker e Apache FlinkLeggi il post completo sul blogQuesto post descrive l’architettura necessaria per l’inferenza in tempo reale nei dati in streaming utilizzando diversi servizi AWS. Copre anche l'integrazione del servizio gestito da Amazon per Apache Flink per richiamare in modo asincrono servizi o database sottostanti.
FormazionePresentazione di Amazon Kinesis AnalyticsIscriviti oraÈ un corso introduttivo su Amazon Kinesis Analytics pensato per aiutarti a interrogare i dati in streaming o a creare intere applicazioni in streaming utilizzando SQL.
FormazioneData Analytics Fundamentals (Nozioni di base sull'analisi di dati)Iscriviti oraIn questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.
Informazioni su questa implementazioneVersione1.8.1Data di rilascio10/2023AutoreAWSTempo di implementazione stimato5-10 minScarica la guida per l'implementazione Codice sorgente Modello CloudFormation Iscriviti al feed RSSCosto stimatoOpzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 2
-
Modello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Amazon CloudWatch
Modello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Amazon CloudWatch
Opzione 2: modello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Amazon CloudWatch
Fase 1
Un'istanza Amazon Elastic Compute Cloud (Amazon EC2) utilizza Amazon Kinesis Producer Library (KPL) per generare dati.Fase 3
Servizio gestito da Amazon per Apache Flink elabora i record in entrata e salva i dati elaborati in un bucket Amazon Simple Storage Service (Amazon S3).Fase 4
Un pannello di controllo di Amazon CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.
Opzione 2: modello di AWS CloudFormation con Amazon EC2, Amazon Kinesis Producer Library, flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Amazon CloudWatch
Fase 1
Un'istanza Amazon Elastic Compute Cloud (Amazon EC2) utilizza Amazon Kinesis Producer Library (KPL) per generare dati.Fase 3
Servizio gestito da Amazon per Apache Flink elabora i record in entrata e salva i dati elaborati in un bucket Amazon Simple Storage Service (Amazon S3).Fase 4
Un pannello di controllo di Amazon CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.
Contenuto correlato
Blog sull'architettura di AWSInferenza in streaming in tempo reale con AWS Kinesis, SageMaker e Apache FlinkLeggi il post completo sul blogQuesto post descrive l’architettura necessaria per l’inferenza in tempo reale nei dati in streaming utilizzando diversi servizi AWS. Copre anche l'integrazione del servizio gestito da Amazon per Apache Flink per richiamare in modo asincrono servizi o database sottostanti.
FormazionePresentazione di Amazon Kinesis AnalyticsIscriviti oraÈ un corso introduttivo su Amazon Kinesis Analytics pensato per aiutarti a interrogare i dati in streaming o a creare intere applicazioni in streaming utilizzando SQL.
FormazioneData Analytics Fundamentals (Nozioni di base sull'analisi di dati)Iscriviti oraIn questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.
Informazioni su questa implementazioneVersione1.8.1Data di rilascio10/2023AutoreAWSTempo di implementazione stimato5-10 minScarica la guida per l'implementazione Codice sorgente Modello CloudFormation Iscriviti al feed RSSCosto stimatoOpzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 3
-
Modello di AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Modello di AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon S3
Opzione 3 - Modello di AWS CloudFormation con flusso di dati Amazon Kinesis, Amazon Kinesis Data Firehose e Amazon S3
Fase 1
Un'istanza Amazon Elastic Compute Cloud (Amazon EC2) utilizza Amazon Kinesis Producer Library (KPL) per generare dati.Fase 2
Amazon Kinesis Data Firehose bufferizza i dati prima di consegnare l'output a un bucket Amazon S3. Si tratta di un servizio completamente gestito che dimensiona automaticamente le risorse in base alla velocità di trasmissione effettiva dei dati e non richiede alcuna attività di amministrazione durante il funzionamento.Fase 3
Una pannello di controllo di Amazon CloudWatch monitora l'importazione e il buffering dei dati. I parametri essenziali di Kinesis Data Firehose prevedono l'impostazione di avvisi da parte di CloudWatch.Opzione 3 - Modello di AWS CloudFormation con flusso di dati Amazon Kinesis, Amazon Kinesis Data Firehose e Amazon S3
Fase 1
Flusso di dati Amazon Kinesis archivia i dati in streaming in entrata.Fase 2
Amazon Kinesis Data Firehose bufferizza i dati prima di consegnare l'output a un bucket Amazon S3. Si tratta di un servizio completamente gestito che dimensiona automaticamente le risorse in base alla velocità di trasmissione effettiva dei dati e non richiede alcuna attività di amministrazione durante il funzionamento.Fase 3
Una pannello di controllo di Amazon CloudWatch monitora l'importazione e il buffering dei dati. I parametri essenziali di Kinesis Data Firehose prevedono l'impostazione di avvisi da parte di CloudWatch.Contenuto correlato
Blog sull'architettura di AWSInferenza in streaming in tempo reale con AWS Kinesis, SageMaker e Apache FlinkLeggi il post completo sul blogQuesto post descrive l’architettura necessaria per l’inferenza in tempo reale nei dati in streaming utilizzando diversi servizi AWS. Copre anche l'integrazione del servizio gestito da Amazon per Apache Flink per richiamare in modo asincrono servizi o database sottostanti.
FormazionePresentazione di Amazon Kinesis AnalyticsIscriviti oraÈ un corso introduttivo su Amazon Kinesis Analytics pensato per aiutarti a interrogare i dati in streaming o a creare intere applicazioni in streaming utilizzando SQL.
FormazioneData Analytics Fundamentals (Nozioni di base sull'analisi di dati)Iscriviti oraIn questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.
Informazioni su questa implementazioneVersione1.8.1Data di rilascio10/2023AutoreAWSTempo di implementazione stimato5-10 minScarica la guida per l'implementazione Codice sorgente Modello CloudFormation Iscriviti al feed RSSCosto stimatoOpzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 4
-
Modello AWS CloudFormation che utilizza flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Gateway Amazon API
Modello AWS CloudFormation che utilizza flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Gateway Amazon API
Opzione 4: modello AWS CloudFormation che utilizza flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Gateway Amazon API
Fase 1
Un'istanzaAmazon Elastic Compute Cloud (Amazon EC2) che utilizza Amazon Kinesis Producer Library (KPL) per generare dati.Fase 3
Servizio gestito per Apache Flink elabora i record in entrata e richiama in modo asincrono un endpoint esterno.Fase 4
L'applicazione demo invoca una funzione AWS Lambda.Fase 5
L'API esterna può essere qualsiasi integrazione supportata da Gateway Amazon API (ad esempio, un endpoint Amazon SageMaker).Fase 6
Un pannello di controllo di Amazon CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.Opzione 4: modello AWS CloudFormation che utilizza flusso di dati Amazon Kinesis, servizio gestito da Amazon per Apache Flink e Gateway Amazon API
Fase 1
Un'istanzaAmazon Elastic Compute Cloud (Amazon EC2) che utilizza Amazon Kinesis Producer Library (KPL) per generare dati.Fase 3
Servizio gestito per Apache Flink elabora i record in entrata e richiama in modo asincrono un endpoint esterno.Fase 4
L'applicazione demo invoca una funzione AWS Lambda.Fase 5
L'API esterna può essere qualsiasi integrazione supportata da Gateway Amazon API (ad esempio, un endpoint Amazon SageMaker).Fase 6
Un pannello di controllo di Amazon CloudWatch monitora l'integrità, l'avanzamento, l'uso della risorsa, gli eventi e gli errori dell'applicazione.Blog sull'architettura di AWSInferenza in streaming in tempo reale con AWS Kinesis, SageMaker e Apache FlinkLeggi il post completo sul blogQuesto post descrive l’architettura necessaria per l’inferenza in tempo reale nei dati in streaming utilizzando diversi servizi AWS. Copre anche l'integrazione del servizio gestito da Amazon per Apache Flink per richiamare in modo asincrono servizi o database sottostanti.
FormazionePresentazione di Amazon Kinesis AnalyticsIscriviti oraÈ un corso introduttivo su Amazon Kinesis Analytics pensato per aiutarti a interrogare i dati in streaming o a creare intere applicazioni in streaming utilizzando SQL.
FormazioneData Analytics Fundamentals (Nozioni di base sull'analisi di dati)Iscriviti oraIn questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.
Informazioni su questa implementazioneVersione1.8.1Data di rilascio10/2023AutoreAWSTempo di implementazione stimato5-10 minScarica la guida per l'implementazione Codice sorgente Modello CloudFormation Iscriviti al feed RSSCosto stimatoOpzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS