Panoramica
La soluzione di dati in streaming per Amazon MSK fornisce modelli di AWS CloudFormation in cui i dati fluiscono attraverso producer, storage di streaming, consumer e destinazioni. Per supportare molteplici casi d'uso ed esigenze aziendali, questa soluzione offre quattro modelli AWS CloudFormation. Analogamente alla soluzione di dati in streaming per Amazon Kinesis, i modelli vengono configurati per applicare le best practice alla funzionalità di monitoraggio tramite allarmi e pannelli di controllo e per proteggere i dati.
È necessario acquisire i dati in streaming in modo durevole usando un'archiviazione altamente scalabile in grado di gestire elevati volumi di dati provenienti dai data producer. Per producer si intendono migliaia di origini dati, ognuna delle quali genera continuamente dati in streaming, inviati, di solito, sotto forma di record di piccole dimensioni (kilobyte) in contemporanea.
I flussi di dati sono composti da svariati tipi di dati, ad esempio i file di log generati dai clienti che utilizzano applicazioni Web o su dispositivi mobili, acquisti effettuati su siti di e-commerce, eventi all'interno di videogiochi, informazioni provenienti da social network, dati di transazioni finanziarie, servizi di geolocalizzazione e di telemetria relativi a dispositivi connessi o strumentazioni in data center.
Vantaggi
Dettagli tecnici
-
Opzione 1
-
Opzione 2
-
Opzione 3
-
Opzione 4
-
Opzione 1
-
Modello AWS CloudFormation con Streaming gestito da Amazon per Apache Kafka (Amazon MSK)
Modello AWS CloudFormation con Streaming gestito da Amazon per Apache Kafka (Amazon MSK)
Opzione 1 - Modello AWS CloudFormation con Amazon MSK
Fase 1
Questo modello AWS CloudFormation implementa un cluster Amazon MSK.
Fase 2
Un pool di utenti di Amazon Cognito viene utilizzato per controllare chi può invocare i metodi della REST API.Opzione 1 - Modello AWS CloudFormation con Amazon MSK
Fase 1
Questo modello AWS CloudFormation implementa un cluster Amazon MSK.
Fase 2
Un pool di utenti di Amazon Cognito viene utilizzato per controllare chi può invocare i metodi della REST API.Contenuto correlato
Blog sull'architettura di AWSAmazon MSK Backup for Archival, Replay or AnalyticsLeggi il blogQuesto post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.
FormazioneData Analytics Fundamentals (Nozioni di base sull'analisi di dati)Iscriviti oraIn questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.
FormazioneLaboratori Amazon MSKIscriviti oraQuesto sito contiene informazioni e laboratori pratici relativi a Amazon MSK. Questi laboratori possono essere eseguiti su account AWS personali o corporativi oppure su account forniti da team di account AWS per eventi che utilizzano Event Engine.
Informazioni su questa implementazioneVersione1.7.2Data di rilascio01/2023AutoreAWSTempo di implementazione stimato25-30 minScarica la guida per l'implementazione Codice sorgente Modello CloudFormation Iscriviti al feed RSSCosto stimatoOpzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 2
-
Modello di AWS CloudFormation con Amazon MSK e AWS Lambda
Modello di AWS CloudFormation con Amazon MSK e AWS Lambda
Opzione 2: modello di AWS CloudFormation con Amazon MSK e AWS Lambda
Fase 1
Questo modello AWS CloudFormation implementa una funzione Lambda la quale elabora i record in un argomento Apache Kafka. La funzione predefinita è un'applicazione Node.js che registra i messaggi ricevuti, ma che può essere personalizzata a seconda delle tue esigenze aziendali.Opzione 2: modello di AWS CloudFormation con Amazon MSK e AWS Lambda
Fase 1
Questo modello AWS CloudFormation implementa una funzione Lambda la quale elabora i record in un argomento Apache Kafka. La funzione predefinita è un'applicazione Node.js che registra i messaggi ricevuti, ma che può essere personalizzata a seconda delle tue esigenze aziendali.Contenuto correlato
Blog sull'architettura di AWSAmazon MSK Backup for Archival, Replay or AnalyticsLeggi il blogQuesto post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.
FormazioneData Analytics Fundamentals (Nozioni di base sull'analisi di dati)Iscriviti oraIn questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.
FormazioneLaboratori Amazon MSKIscriviti oraQuesto sito contiene informazioni e laboratori pratici relativi a Amazon MSK. Questi laboratori possono essere eseguiti su account AWS personali o corporativi oppure su account forniti da team di account AWS per eventi che utilizzano Event Engine.
Informazioni su questa implementazioneVersione1.7.2Data di rilascio01/2023AutoreAWSTempo di implementazione stimato25-30 minScarica la guida per l'implementazione Codice sorgente Modello CloudFormation Iscriviti al feed RSSCosto stimatoOpzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 3
-
Modello di AWS CloudFormation con Amazon MSK, AWS Lambda e Amazon Kinesis Data Firehose
Modello di AWS CloudFormation con Amazon MSK, AWS Lambda e Amazon Kinesis Data Firehose
Opzione 3: modello di AWS CloudFormation con Amazon MSK, AWS Lambda e Amazon Kinesis Data Firehose
Fase 1
Una funzione AWS Lambda che elabora i registri in un argomento di Apache Kafka.Fase 2
Un flusso di consegna Amazon Kinesis Data Firehose che esegue il buffering dei dati prima di consegnarli a destinazione.Fase 3
Un bucket Amazon Simple Storage Service (Amazon S3) che archivia tutti gli eventi originali dal cluster Amazon MSK.Opzione 3: modello di AWS CloudFormation con Amazon MSK, AWS Lambda e Amazon Kinesis Data Firehose
Fase 1
Una funzione AWS Lambda che elabora i registri in un argomento di Apache Kafka.Fase 2
Un flusso di consegna Amazon Kinesis Data Firehose che esegue il buffering dei dati prima di consegnarli a destinazione.Fase 3
Un bucket Amazon Simple Storage Service (Amazon S3) che archivia tutti gli eventi originali dal cluster Amazon MSK.Contenuto correlato
Blog sull'architettura di AWSAmazon MSK Backup for Archival, Replay or AnalyticsLeggi il blogQuesto post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.
FormazioneData Analytics Fundamentals (Nozioni di base sull'analisi di dati)Iscriviti oraIn questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.
FormazioneLaboratori Amazon MSKIscriviti oraQuesto sito contiene informazioni e laboratori pratici relativi a Amazon MSK. Questi laboratori possono essere eseguiti su account AWS personali o corporativi oppure su account forniti da team di account AWS per eventi che utilizzano Event Engine.
Informazioni su questa implementazioneVersione1.7.2Data di rilascio01/2023AutoreAWSTempo di implementazione stimato25-30 minScarica la guida per l'implementazione Codice sorgente Modello CloudFormation Iscriviti al feed RSSCosto stimatoOpzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS -
Opzione 4
-
Modello di AWS CloudFormation con Amazon MSK, Analisi dei dati Amazon Kinesis e Amazon S3
Modello di AWS CloudFormation con Amazon MSK, Analisi dei dati Amazon Kinesis e Amazon S3
Opzione 4: modello di AWS CloudFormation con Amazon MSK, Analisi dei dati Amazon Kinesis e Amazon S3
Fase 1
Un notebook Kinesis Data Analytics Studio che legge gli eventi da un argomento esistente in un cluster Amazon MSK.Fase 2
Un bucket Amazon Simple Storage Service (Amazon S3) in cui viene archiviato l'output.Opzione 4: modello di AWS CloudFormation con Amazon MSK, Analisi dei dati Amazon Kinesis e Amazon S3
Fase 1
Un notebook Kinesis Data Analytics Studio che legge gli eventi da un argomento esistente in un cluster Amazon MSK.Fase 2
Un bucket Amazon Simple Storage Service (Amazon S3) in cui viene archiviato l'output.Contenuto correlato
Blog sull'architettura di AWSAmazon MSK Backup for Archival, Replay or AnalyticsLeggi il blogQuesto post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.
FormazioneData Analytics Fundamentals (Nozioni di base sull'analisi di dati)Iscriviti oraIn questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.
FormazioneLaboratori Amazon MSKIscriviti oraQuesto sito contiene informazioni e laboratori pratici relativi a Amazon MSK. Questi laboratori possono essere eseguiti su account AWS personali o corporativi oppure su account forniti da team di account AWS per eventi che utilizzano Event Engine.
Informazioni su questa implementazioneVersione1.7.2Data di rilascio01/2023AutoreAWSTempo di implementazione stimato25-30 minScarica la guida per l'implementazione Codice sorgente Modello CloudFormation Iscriviti al feed RSSCosto stimatoOpzioni di implementazioneTutto pronto per iniziare?Implementa questa soluzione avviandola nella tua Console AWS
