La soluzione di dati in streaming per Amazon MSK fornisce modelli di AWS CloudFormation in cui i dati fluiscono attraverso producer, storage di streaming, consumer e destinazioni. Per supportare molteplici casi d'uso ed esigenze aziendali, questa soluzione offre quattro modelli AWS CloudFormation. Analogamente alla soluzione di dati in streaming per Amazon Kinesis, i modelli vengono configurati per applicare le best practice alla funzionalità di monitoraggio utilizzando allarmi e pannelli di controllo e per proteggere i dati.
Vantaggi
Configurazione automatizzata
Configura automaticamente i servizi AWS necessari per facilitare l'acquisizione, l'archiviazione, l'elaborazione e la distribuzione di dati in streaming.
Quattro opzioni di modelli
Scegli fra quattro opzioni di modelli AWS CloudFormation. Prova nuove combinazioni di servizi per l'ambiente di produzione e migliora le applicazioni esistenti.
Casi d'uso in tempo reale
Acquisisci log di applicazioni a volume elevato, analizza i dati clickstream, distribuisci continuamente a un data lake e molto altro.
Codice di origine personalizzabile
Personalizza il codice boilerplate della soluzione e utilizza le capacità di monitoraggio per eseguire una transazione rapida dalla verifica alla produzione.
Panoramica della soluzione AWS
Il diagramma di seguito presenta i quattro modelli di AWS CloudFormation che è possibile implementare in modo automatico grazie alla guida all'implementazione della soluzione.
Opzione 1
Opzione 2
Opzione 3
Opzione 4
Opzione 1
Modello AWS CloudFormation con Amazon Managed Streaming per Apache Kafka (Amazon MSK)
Un'istanza Amazon EC2 che contiene le librerie client di Apache Kafka necessarie per comunicare con il cluster Amazon MSK. Questo computer client è situato sullo stesso VPC del cluster e vi si può accedere tramite AWS Systems Manager Session Manager.
Soluzione per i dati in streaming per l'architettura della soluzione Amazon MSK
Opzione 2 - Modello di AWS CloudFormation con Amazon MSK e AWS Lambda
Questo modello di AWS CloudFormation implementa un'architettura di referenza che include:
Una funzione Lambda che elabora i registri in un argomento di Apache Kafka. La funzione di default è un'applicazione Node.js che registra i messaggi ricevuti, ma che può essere personalizzata a seconda delle tue esigenze aziendali.
Amazon MSK Backup for Archival, Replay or Analytics
Questo post tratta i modelli e le soluzioni che possono essere utilizzati per supportare argomenti MSK in S3, che consente ai clienti di ridurre le impostazioni della retention dei dati a lungo termine in MSK. Alcuni clienti archiviano dati a lungo termine in MSK ai fini di analisi dei dati e dei carichi di lavoro del machine learning. Condividiamo un modello per semplificare questa architettura mediante la ripartizione dei dati degli argomenti in S3 e utilizziamo S3 per l'analisi o il ML.
