Soluzione per i dati in streaming per Amazon MSK

Un servizio di dati in streaming in tempo reale, durevole e a scalabilità elevata, che permette di acquisire continuamente dati per l'elaborazione

Panoramica

La soluzione di dati in streaming per Amazon MSK fornisce modelli di AWS CloudFormation in cui i dati fluiscono attraverso producer, storage di streaming, consumer e destinazioni. Per supportare molteplici casi d'uso ed esigenze aziendali, questa soluzione offre quattro modelli AWS CloudFormation. Analogamente alla soluzione di dati in streaming per Amazon Kinesis, i modelli vengono configurati per applicare le best practice alla funzionalità di monitoraggio tramite allarmi e pannelli di controllo e per proteggere i dati.

È necessario acquisire i dati in streaming in modo durevole usando un'archiviazione altamente scalabile in grado di gestire elevati volumi di dati provenienti dai data producer. Per producer si intendono migliaia di origini dati, ognuna delle quali genera continuamente dati in streaming, inviati, di solito, sotto forma di record di piccole dimensioni (kilobyte) in contemporanea.

I flussi di dati sono composti da svariati tipi di dati, ad esempio i file di log generati dai clienti che utilizzano applicazioni Web o su dispositivi mobili, acquisti effettuati su siti di e-commerce, eventi all'interno di videogiochi, informazioni provenienti da social network, dati di transazioni finanziarie, servizi di geolocalizzazione e di telemetria relativi a dispositivi connessi o strumentazioni in data center.

Casi d'uso per questa soluzione AWS
Data warehouse Streaming dei dati in tempo reale

Vantaggi

Configurazione automatizzata
Configura automaticamente i servizi AWS necessari per facilitare l'acquisizione, l'archiviazione, l'elaborazione e la distribuzione di dati in streaming.
Quattro opzioni di modelli
Scegli fra quattro opzioni di modelli AWS CloudFormation. Prova nuove combinazioni di servizi per l'ambiente di produzione e migliora le applicazioni esistenti.
Casi d'uso in tempo reale
Acquisisci log di applicazioni a volume elevato, analizza i dati clickstream, distribuisci continuamente a un data lake e molto altro.
Codice di origine personalizzabile
Personalizza il codice boilerplate della soluzione e utilizza le capacità di monitoraggio per eseguire una transazione rapida dalla verifica alla produzione.

Dettagli tecnici

Il diagramma di seguito presenta i quattro modelli di AWS CloudFormation che è possibile implementare in modo automatico grazie alla guida all'implementazione della soluzione.
  • Opzione 1
  • Modello AWS CloudFormation con Streaming gestito da Amazon per Apache Kafka (Amazon MSK)
    Opzione 1 - Modello AWS CloudFormation con Amazon MSK
    Blog sull'architettura di AWS
    Amazon MSK Backup for Archival, Replay or Analytics

    Questo post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.

    Leggi il blog 
    Formazione
    Data Analytics Fundamentals (Nozioni di base sull'analisi di dati)

    In questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.

    Iscriviti ora 
    Formazione
    Laboratori Amazon MSK

    Questo sito contiene informazioni e laboratori pratici relativi a Amazon MSK. Questi laboratori possono essere eseguiti su account AWS personali o corporativi oppure su account forniti da team di account AWS per eventi che utilizzano Event Engine.

    Iscriviti ora 
    Informazioni su questa implementazione
    Versione
    1.8.1
    Data di rilascio
    10/2023
    Autore
    AWS
    Tempo di implementazione stimato
    25-30 min
    Costo stimato
    Scarica la guida per l'implementazione  Codice sorgente  Modello CloudFormation  Iscriviti al feed RSS 
    Opzioni di implementazione
    Tutto pronto per iniziare?
    Implementa questa soluzione avviandola nella tua Console AWS
    Questa soluzione AWS ti è stata d'aiuto?
    Dacci un feedback
  • Opzione 2
  • Modello di AWS CloudFormation con Amazon MSK e AWS Lambda
    Opzione 2: modello di AWS CloudFormation con Amazon MSK e AWS Lambda

    Fase 1
    Questo modello AWS CloudFormation implementa una funzione Lambda la quale elabora i record in un argomento Apache Kafka. La funzione predefinita è un'applicazione Node.js che registra i messaggi ricevuti, ma che può essere personalizzata a seconda delle tue esigenze aziendali.

     

    Blog sull'architettura di AWS
    Amazon MSK Backup for Archival, Replay or Analytics

    Questo post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.

    Leggi il blog 
    Formazione
    Data Analytics Fundamentals (Nozioni di base sull'analisi di dati)

    In questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.

    Iscriviti ora 
    Formazione
    Laboratori Amazon MSK

    Questo sito contiene informazioni e laboratori pratici relativi a Amazon MSK. Questi laboratori possono essere eseguiti su account AWS personali o corporativi oppure su account forniti da team di account AWS per eventi che utilizzano Event Engine.

    Iscriviti ora 
    Informazioni su questa implementazione
    Versione
    1.8.1
    Data di rilascio
    10/2023
    Autore
    AWS
    Tempo di implementazione stimato
    25-30 min
    Costo stimato
    Scarica la guida per l'implementazione  Codice sorgente  Modello CloudFormation  Iscriviti al feed RSS 
    Opzioni di implementazione
    Tutto pronto per iniziare?
    Implementa questa soluzione avviandola nella tua Console AWS
    Questa soluzione AWS ti è stata d'aiuto?
    Dacci un feedback
  • Opzione 3
  • Modello di AWS CloudFormation con Amazon MSK, AWS Lambda e Amazon Kinesis Data Firehose
    Opzione 3: modello di AWS CloudFormation con Amazon MSK, AWS Lambda e Amazon Kinesis Data Firehose
    Blog sull'architettura di AWS
    Amazon MSK Backup for Archival, Replay or Analytics

    Questo post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.

    Leggi il blog 
    Formazione
    Data Analytics Fundamentals (Nozioni di base sull'analisi di dati)

    In questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.

    Iscriviti ora 
    Formazione
    Laboratori Amazon MSK

    Questo sito contiene informazioni e laboratori pratici relativi a Amazon MSK. Questi laboratori possono essere eseguiti su account AWS personali o corporativi oppure su account forniti da team di account AWS per eventi che utilizzano Event Engine.

    Iscriviti ora 
    Informazioni su questa implementazione
    Versione
    1.8.1
    Data di rilascio
    10/2023
    Autore
    AWS
    Tempo di implementazione stimato
    25-30 min
    Costo stimato
    Scarica la guida per l'implementazione  Codice sorgente  Modello CloudFormation  Iscriviti al feed RSS 
    Opzioni di implementazione
    Tutto pronto per iniziare?
    Implementa questa soluzione avviandola nella tua Console AWS
    Questa soluzione AWS ti è stata d'aiuto?
    Dacci un feedback
  • Opzione 4
  • Modello AWS CloudFormation con Amazon MSK, servizio gestito da Amazon per Apache Flink e Amazon S3
    Opzione 4: modello AWS CloudFormation con Amazon MSK, servizio gestito da Amazon per Apache Flink e Amazon S3
    Blog sull'architettura di AWS
    Amazon MSK Backup for Archival, Replay or Analytics

    Questo post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.

    Leggi il blog 
    Formazione
    Data Analytics Fundamentals (Nozioni di base sull'analisi di dati)

    In questo corso gestito dall'utente illustriamo il processo delle soluzioni di analisi dei dati di pianificazione e i vari processi di analisi dei dati interessati.

    Iscriviti ora 
    Formazione
    Laboratori Amazon MSK

    Questo sito contiene informazioni e laboratori pratici relativi a Amazon MSK. Questi laboratori possono essere eseguiti su account AWS personali o corporativi oppure su account forniti da team di account AWS per eventi che utilizzano Event Engine.

    Iscriviti ora 
    Informazioni su questa implementazione
    Versione
    1.8.1
    Data di rilascio
    10/2023
    Autore
    AWS
    Tempo di implementazione stimato
    25-30 min
    Costo stimato
    Scarica la guida per l'implementazione  Codice sorgente  Modello CloudFormation  Iscriviti al feed RSS 
    Opzioni di implementazione
    Tutto pronto per iniziare?
    Implementa questa soluzione avviandola nella tua Console AWS
    Questa soluzione AWS ti è stata d'aiuto?
    Dacci un feedback