Acquisizione di dati con Amazon Kinesis Data Firehose

Con Amazon Kinesis Firehose, è possibile convertire facilmente i dati di streaming grezzi dalle origini dati nei formati richiesti dall'indice Elasticsearch o OpenSearch e caricarli su Amazon OpenSearch Service, senza dover costruire le pipeline di elaborazione dati.

È sufficiente selezionare una funzione AWS Lambda dalla scheda relativa alla configurazione del flusso di consegna di Amazon Kinesis Firehose nella Console di gestione AWS. Amazon Kinesis Firehose applicherà automaticamente la funzione AWS Lambda a tutti i registri dati di input, caricando i dati trasformati nell'indice di Amazon OpenSearch Service.

Amazon Kinesis Firehose fornisce piani Lambda predefiniti senza alcuna modifica o personalizzazione, per la conversione delle origini dati più comuni, ad esempio i log di Apache e i log di sistema in formato JSON e CSV. È possibile inoltre configurare Amazon Kinesis Firehose affinché esegua automaticamente nuovi tentativi sui processi con errori ed effettui il backup dei flussi di dati grezzi. Ulteriori informazioni »

 

Acquisizione di dati con Logstash

Amazon OpenSearch Service supporta l'integrazione con Logstash, uno strumento di elaborazione dati open source che raccoglie dati provenienti dalle fonti, e li carica in Elasticsearch o OpenSearch. È possibile implementare facilmente Logstash su Amazon EC2 e configurare il dominio Amazon OpenSearch Service come archivio di back-end per tutti i registri provenienti dall'implementazione di Logstash. Logstash supporta una libreria di filtri predefiniti per semplificare l'esecuzione delle operazioni di trasformazione più comuni, ad esempio la conversione di dati di log non strutturati in dati strutturati tramite condizioni di ricerca, ridenominazione, rimozione, sostituzione e modifica del campi nel report di dati o l'aggregazione di parametri. Ulteriori informazioni »

Acquisizione di dati con Amazon CloudWatch Logs

Amazon CloudWatch Logs consente di monitorare e risolvere i problemi di sistema e applicazioni utilizzando i file di log esistenti generati dal sistema e dall'applicazione o log personalizzati. È possibile configurare un gruppo di log di CloudWatch Logs per trasmettere i dati al dominio Amazon OpenSearch Service quasi in tempo reale tramite un abbonamento a CloudWatch Logs. Questa integrazione è utile se stai già utilizzando CloudWatch Logs per raccogliere dati di registro e desideri condividere tali dati con gli utenti di Amazon OpenSearch Service. Ulteriori informazioni »

Acquisizione di dati con AWS IoT

AWS IoT è una piattaforma cloud gestita che consente a dispositivi connessi di interagire in modo semplice e sicuro con applicazioni nel cloud e altri dispositivi. AWS IoT consente di acquisire dati dai dispositivi connessi quali elettrodomestici, sensori incorporati e set-top box per TV. Con la console di gestione AWS, è possibile configurare AWS IoT per caricare direttamente i dati in Amazon OpenSearch Service, consentendo di fornire ai clienti un accesso quasi in tempo reale a dati e parametri IoT. Ulteriori informazioni »

Come scegliere il meccanismo di acquisizione dati più adatto

La scelta di un meccanismo di acquisizione dati più adatto dipende dai requisiti del caso d'uso come la latenza dei dati e il tipo di dati. Per grandi volumi di dati, consigliamo di utilizzare Amazon Kinesis Data Firehose, che è completamente gestito, si dimensiona automaticamente per adattarsi alla velocità effettiva dei dati e non richiede amministrazione continua. Può anche trasformare, comprimere e raggruppare i dati prima di caricarli nel dominio di Amazon OpenSearch Service. La scelta spesso ricade su servizi già in uso. Ad esempio, se stai già raccogliendo i registri delle applicazioni utilizzando Amazon CloudWatch Logs, puoi semplicemente caricare quei dati nel tuo dominio Amazon OpenSearch Service senza troppi sforzi aggiuntivi.

Fasi successive

Ulteriori informazioni sui prezzi di Amazon OpenSearch Service

Visita la pagina dei prezzi
Pronto per cominciare?
Nozioni di base su Amazon OpenSearch Service
Hai altre domande?
Contattaci