Amazon Elasticsearch Service è un servizio completamente gestito con cui utilizzare le intuitive API in tempo reale di Elasticsearch per ottenere la disponibilità, la scalabilità e la sicurezza necessarie per operare carichi di lavoro di produzione. Amazon Elasticsearch Service è ideale per analisi di log, monitoraggio di applicazioni, ricerche interattive e in generale casi d'uso di analisi. Raccolta, conversione, mappatura e caricamento dei dati da diverse origini dati nell'indice Elasticsearch possono tuttavia costituire operazioni lunghe e complicate. È necessario convertire i dati grezzi in un formato strutturato, ad esempio JSON o CSV, ripulire i dati e mapparli a campi di destinazione. È anche necessario suddividere in batch e memorizzare nel buffer i dati per rendere efficiente il caricamento, in modo che i dati siano disponibili immediatamente per l'esecuzione di query, senza sovraccaricare le risorse di calcolo e di rete del cluster. Per completare queste operazioni, è possibile utilizzare le caratteristiche di integrazione di Amazon Elasticsearch Service con Amazon Kinesis Firehose, LogstashAmazon CloudWatch Logs o AWS IoT, a seconda dei requisiti del caso d'uso specifico.


Amazon Kinesis Firehose può essere configurato per preparare i flussi di dati prima che vengano caricati nei datastore. Grazie a questa caratteristica, è possibile convertire i flussi di dati grezzi dalle origini dati nei formati richiesti dall'indice Elasticsearch senza dover creare una pipeline di elaborazione apposita.

È sufficiente selezionare una funzione AWS Lambda dalla scheda relativa alla configurazione del flusso di distribuzione di Amazon Kinesis Firehose nella Console di gestione AWS. Amazon Kinesis Firehose applicherà automaticamente la funzione AWS Lambda a tutti i record dati di input, caricando i dati trasformati nell'indice di Amazon Elasticsearch.

Amazon Kinesis Firehose fornisce piani Lambda predefiniti per la conversione delle origini dati più comuni, ad esempio i log di Apache e i log di sistema in formato JSON e CSV. I piani predefiniti possono essere impiegati senza alcuna modifica oppure personalizzati o, ancora, è possibile scrivere funzioni completamente nuove. È possibile inoltre configurare Amazon Kinesis Firehose affinché esegua nuovi tentativi sui processi con errori ed effettui il backup dei flussi di dati grezzi. Ulteriori informazioni »


Amazon Elasticsearch Service supporta l'integrazione con Logstash, uno strumento di elaborazione open source che raccoglie dati provenienti da diverse origini, li trasforma e il carica in Elasticsearch. Logstash può essere distribuito con la massima semplicità in Amazon EC2, impostando il dominio di Amazon Elasticsearch come store di back-end per tutti i log in arrivo tramite l'implementazione. Logstash supporta una libreria di filtri predefiniti per semplificare l'esecuzione delle operazioni di trasformazione più comuni, ad esempio la conversione di dati di log non strutturati in dati strutturati tramite condizioni di ricerca, ridenominazione, rimozione, sostituzione e modifica del campi nel report di dati o l'aggregazione di parametri. Ulteriori informazioni »


Amazon CloudWatch Logs consente di monitorare e risolvere i problemi di sistema e applicazioni utilizzando i file di log esistenti generati dal sistema e dall'applicazione o log personalizzati. Puoi configurare un gruppo di log di CloudWatch Logs in modo che inoltri il flusso di dati nel dominio Amazon Elasticsearch Service quasi in tempo reale tramite abbonamento a CloudWatch Logs. Questa integrazione è utile se utilizzi già CloudWatch Logs per raccogliere dati di log e desideri condividere tali dati con gli utenti di Amazon Elasticsearch Service. Ulteriori informazioni »


AWS IoT è una piattaforma cloud gestita che consente a dispositivi connessi di interagire in modo semplice e sicuro con applicazioni nel cloud e altri dispositivi. Il modello di prezzi on demand permette applicare tariffe orarie all'uso di capacità di memoria e di elaborazione senza alcun impegno a lunCon AWS IoT puoi acquisire dati da dispositivi connessi tra cui elettrodomestici, sensori integrati e set-top box per TV, quindi configurare AWS IoT dalla Console di gestione AWS affinché carichi i dati direttamente in Amazon Elasticsearch Service. In questo modo potrai fornire ai clienti accesso quasi in tempo reale a dati e parametri di IoT. Ulteriori informazioni »

La scelta del meccanismo di acquisizione dati dipende dai requisiti del caso d'uso specifico, ad esempio la latenza e il tipo di dati. In caso di volumi elevati, consigliamo l'utilizzo di Amazon Kinesis Firehose, un servizio completamente gestito che ridimensiona automaticamente le risorse in base al throughput dei dati e non richiede alcuna attività di amministrazione durante il funzionamento. Inoltre permette di trasformare, comprimere e suddividere in batch i dati prima del caricamento nel dominio Amazon Elasticsearch Service. La scelta spesso ricade su servizi già in uso. Se ad esempio i log di un'applicazione vengono già raccolti da CloudWatch Logs, sarà sufficiente caricare tali dati nel dominio Amazon Elasticsearch Service.

Inizia a usare questo servizio con il piano gratuito, che consente di usare fino a 750 ore al mese di un'istanza t2.micro.elasticsearch o t2.small.elasticsearch Single-AZ e 10 GB al mese di storage Amazon EBS opzionale.

Inizia a usarlo gratis