Che cos'è l'analisi dei dati di registro?
Applicazioni, server, infrastrutture cloud, IoT e dispositivi mobili, DevOps, architetture di microservizi: le più grandi tendenze aziendali e IT ci stanno aiutando a migliorare le operazioni e l'esperienza del cliente come mai prima d'ora. Ma queste tendenze hanno anche portato a una crescita esplosiva dei dati generati dalle macchine, che includono log e parametri come le transazioni degli utenti, il comportamento dei clienti, l'attività dei sensori, il comportamento della macchina e le minacce alla sicurezza. Questi dati sono complessi, ma anche i più preziosi in quanto contengono intelligence operativa per IT, sicurezza e business.
L'analisi dei dati di registro prevede la ricerca, l'analisi e la visualizzazione dei dati automatici generati dai sistemi IT e dall'infrastruttura tecnologica per ottenere informazioni operative approfondite. Gli strumenti di analisi dei dati tradizionali non sono semplicemente costruiti per gestire la varietà e il volume dei dati automatici in rapida proliferazione.
Perché l'analisi dei dati di registro è importante?
I dati di registro crescono in continuazione. Senza una soluzione olistica e attenta ai costi, questi ultimi continueranno a crescere senza controllo. I dati generati dall'uomo e quelli generati dalle macchine stanno crescendo a una velocità impressionante, dove i primi hanno generalmente un tasso di crescita conservativo di 10 volte superiore rispetto ai dati aziendali. I dati automatici sono proiettati verso un'ulteriore crescita.
Cos'è la cronologia dell'analisi dei dati di registro?
Da quando abbiamo iniziato a creare record generati dal computer, abbiamo cercato di analizzarli in blocco. Questi record vengono emessi da dispositivi, applicazioni, reti (e altro ancora), quindi riportati nei registri con sequenze in ordine temporale. Spesso questi registri non sono completamente documentati o formati in modo coerente tra le applicazioni o i dispositivi, il che rafforza ulteriormente la necessità di analizzarli.
Dove è orientato il mercato dell'analisi dei dati di registro?
I dati di registro scompaiono raramente, sono semplicemente archiviati e accessibili in modo diverso. Con l'aumento dei volumi, sono necessari metodi più sofisticati per archiviare e utilizzare i dati. Il machine learning viene utilizzato per l'individuazione di modelli in questa quantità crescente di dati, ma si può fare molto di più per aiutare l'analisi di sicurezza, il rilevamento delle frodi, il rilevamento delle anomalie e altro ancora.
Quali sono i vantaggi dell'analisi dei dati di registro?
L'analisi dei dati di registro può fornire risposte preziose riguardo alle analisi operative, come quelle elencate di seguito. Immagina se avessi ottenuto risposte in tempo reale alle seguenti domande:
- La mia infrastruttura funziona?
- Qual è la latenza e il tasso di errore?
- Quale è stata la causa del problema dell'applicazione?
- Sono presenti attività di autenticazione sospette?
- A quali dati è stato eseguito l'accesso da questo indirizzo IP?
- Ci sono istanze di frode?
- A quali contenuti/prodotti sono interessati i miei utenti?
- Quali sono le funzionalità più o meno utilizzate?
- Quali sono gli utenti più attivi e perché?
Per approfondimenti sui vantaggi dell'analisi dei dati di registro, consulta questo documento di Omdia.
Quali sono le sfide dell'analisi dei dati di registro?
Alcune delle principali sfide che gli strumenti di analisi dei dati di registro devono affrontare sono:
-
La varietà e i volumi dei dati aumentano rapidamente
- Sicurezza e costi sono requisiti critici
- Non si possono aggiungere facilmente risultati in tempo reale e predittivi alle architetture precedenti
Da chi viene utilizzata l'analisi dei dati di registro?
Gli utenti primari dell'analisi dei dati di registro sono gli ingegneri DevOps, il personale addetto all'affidabilità del sito e gli architetti aziendali.
Qual è la funzione dell'analisi dei dati di registro?
Monitoraggio di applicazioni e infrastrutture in tempo reale
Acquisisci e centralizza tutti i registri e le metriche delle applicazioni e dei silos IT per ottenere una visibilità avanzata dello stack di applicazioni e infrastrutture e garantire i tempi di attività. Devi indicizzare i dati, rendendoli disponibili per l'analisi in tempo reale, in modo da visualizzare le metriche di prestazione in tempo reale.
Analisi della causa principale
Identifica rapidamente i problemi nell'ambiente (server, codice) per ridurre il tempo medio di identificazione (MTTI) e il tempo medio di risoluzione (MTTR). Con gli strumenti di visualizzazione, puoi ricercare milioni di eventi e creare correlazioni tra le applicazioni e l'infrastruttura per diagnosticare rapidamente la causa principale del problema, migliorando il tempo di attività.
Analisi di clickstream
Ottieni una visione in tempo reale delle prestazioni del contenuto Web e dell'interazione tra gli utenti e le applicazioni e i siti Web, inclusi il comportamento degli utenti, la quantità di tempo impiegato, i contenuti popolari e altro ancora. Puoi aggregare e analizzare facilmente i registri di clickstream per comprendere meglio i tuoi clienti.
Intelligence della sicurezza e gestione degli eventi (SIEM)
Centralizza e analizza gli eventi generati in tutto l'ambiente, inclusi applicazioni, reti e sistemi operativi per identificare la presenza di eventuali attività dannose o sospette nella rete. Puoi indicizzare i dati appena vengono importati per poterli analizzare da più origini in modo istantaneo e individuare e neutralizzare più rapidamente le minacce.
Come creare una strategia di analisi dei dati di registro
La strategia dell'analisi dei dati di registro deve interessare l'importazione dei dati, la trasformazione e l'arricchimento, la strategia di indicizzazione e partizione, la pianificazione dell'infrastruttura e infine il ciclo di vita e l'archiviazione dei dati. Di seguito sono indicati i passaggi generali da compiere:
-
In primo luogo, devi identificare i movimenti o l'importazione dei dati. Essenzialmente, devi trovare un percorso di importazione.
-
In secondo luogo, devi configurare la trasformazione dei dati delle righe o stringhe di registro. Spesso l'analisi dei dati di registro viene utilizzata con JSON, qualcosa deve trasformare i dati in modo appropriato ed eventualmente arricchirli.
-
Terzo, devi trovare una strategia di indicizzazione e partizione. È essenziale creare indici corretti.
-
Quarto, devi anche pianificare l'infrastruttura per trovare il tipo e il numero di istanze necessarie.
-
Infine, per controllare le dimensioni e i costi del registro, è necessaria una strategia olistica per il ciclo di vita e l'archiviazione dei dati.
Dove devo archiviare i dati di registro?
Il servizio OpenSearch di Amazon fornisce vari livelli di archiviazione per i dati di registro. Puoi selezionare un livello di archiviazione in linea con i requisiti di query (archiviazione a caldo, UltraWarm e a freddo).
Quali sono le offerte AWS per l'analisi dei dati di registro?
Semplicità di implementazione e gestione
Il servizio OpenSearch di Amazon rende semplice la configurazione e l'implementazione del cluster, eliminando al contempo la complessità associata alle attività di gestione, come il provisioning dell'hardware, l'installazione di software e l'applicazione di patch, il ripristino degli errori, i backup e il monitoraggio, in modo da ridurre i costi di gestione operativi e concentrarti sui requisiti aziendali principali.
Ottieni scalabilità e affidabilità
Con fino a 3 PB di archiviazione di istanze in un unico dominio, il servizio OpenSearch di Amazon ti consente di aggiungere o rimuovere facilmente le istanze senza alcun tempo di inattività. Il servizio offre anche la crittografia incorporata dei dati a riposo e in transito, l'autenticazione utente e il supporto VPC, consentendoti di tenere i tuoi dati al sicuro.
Facile integrazione con altri servizi AWS
Il servizio OpenSearch di Amazon offre integrazioni incorporate con altri servizi AWS come Kinesis Data Firehose, Managed Streaming for Kafka, IoT, File di log CloudWatch, KMS, Cognito e IAM, per consentirti di importare, analizzare e visualizzare i dati da tutte le origini.
Riduci i costi
Con il servizio OpenSearch di Amazon, paghi solo ciò che utilizzi. Non sono previsti pagamenti anticipati né requisiti di utilizzo. Grazie al monitoraggio 24 ore su 24, 7 giorni su 7 e al Supporto AWS, non è necessario disporre di un team di esperti Elasticsearch per ridimensionare, proteggere e monitorare l'infrastruttura, perciò i costi operativi totali saranno inferiori.
Come funziona l'analisi dei dati di registro con AWS?
Con AWS, puoi costruire soluzioni diverse per consolidare, monitorare e analizzare efficientemente i dati di registro. Queste soluzioni forniscono una visione semplificata delle applicazioni, dei sistemi e delle informazioni sui registri AWS per l'intelligence operativa in tempo reale.
Registrazione centralizzata con il servizio OpenSearch di Amazon
In combinazione con altri servizi AWS, questa soluzione basata sul servizio OpenSearch di Amazon fornisce un ambiente chiavi in mano altamente disponibile per iniziare rapidamente a registrare e analizzare l'ambiente e applicazioni AWS. Nozioni di base sul servizio OpenSearch di Amazon »
Il diagramma sottostante presenta l'architettura di registrazione centralizzata. Per ulteriori informazioni, leggi la descrizione della soluzione di registrazione centralizzata.
Monitoraggio in tempo reale con Amazon Kinesis
L'uso di Amazon Kinesis unitamente ad AWS CloudTrail e Amazon CloudWatch, ti consente di costruire una soluzione serverless per monitorare le applicazioni in tempo reale. Nozioni di base su Amazon Kinesis »
Il diagramma riportato sotto presenta l'architettura di monitoraggio dell'applicazione in tempo reale. Per ulteriori informazioni, segui questo tutorial pratico.
Come implementano i clienti l'analisi dei dati di registro?
Monitoraggio di applicazioni e infrastrutture in tempo reale
Acquisisci e centralizza tutti i registri e le metriche delle applicazioni e dei silos IT per ottenere una visibilità avanzata dello stack di applicazioni e infrastrutture e garantire i tempi di attività. Il servizio OpenSearch di Amazon indicizza i dati, rendendoli disponibili per l'analisi in tempo reale e ti consente di visualizzare le metriche di prestazione in tempo reale utilizzando i dashboard di Kibana.
Expedia Group, una delle più grandi aziende di viaggi al mondo, utilizza il servizio OpenSearch di Amazon per il monitoraggio delle applicazioni. Il servizio OpenSearch di Amazon permette a Expedia di monitorare elevati volumi di registri Docker a costi contenuti, di rilevare e risolvere problemi in tempo reale, ricalibrare in modo semplice le risorse per aumentare la portata dell'analisi e ridurre il carico operativo. Ulteriori informazioni »
Analisi della causa principale
Identifica rapidamente i problemi nell'ambiente (server, codice) per ridurre il tempo medio di identificazione (MTTI) e il tempo medio di risoluzione (MTTR). Con Kibana incorporato, il servizio OpenSearch di Amazon permette di ricercare milioni di eventi e creare correlazioni tra le applicazioni e l'infrastruttura per diagnosticare rapidamente la causa principale del problema, migliorando il tempo di attività.
Autodesk, fornitore leader di software di ingegneria e progettazione 3D, utilizza i servizi AWS tra cui il servizio OpenSearch di Amazon, Amazon Kinesis Data Firehose e Analisi dei dati Amazon Kinesis per costruire una soluzione di registrazione unificata ed economicamente vantaggiosa per individuare e correggere più rapidamente i problemi dell'applicazione e migliorare l'esperienza del cliente. Ulteriori informazioni »
Analisi di clickstream
Ottieni una visione in tempo reale delle prestazioni del contenuto Web e dell'interazione tra gli utenti e le applicazioni e i siti Web, inclusi il comportamento degli utenti, la quantità di tempo impiegato, i contenuti popolari e altro ancora. Utilizzando il servizio OpenSearch di Amazon e Amazon Kinesis Data Firehose o Amazon Managed Streaming for Kafka, puoi aggregare e analizzare facilmente i registri di clickstream per comprendere meglio i clienti.
Hearst Corporation, grande società di media, ha creato una piattaforma di analisi di clickstream utilizzando il servizio OpenSearch di Amazon, Amazon Kinesis Streams e Amazon Kinesis Firehose per trasmettere ed elaborare 30 terabyte di dati al giorno. Con questa piattaforma, Hearst è in grado di rendere disponibile agli editor l'intero flusso di dati, dai clic del sito Web ai dati aggregati, in pochi minuti. Ulteriori informazioni »
Intelligence della sicurezza e gestione degli eventi (SIEM)
Centralizza e analizza gli eventi generati in tutto l'ambiente, inclusi applicazioni, reti e sistemi operativi per identificare la presenza di eventuali attività dannose o sospette nella rete. Il servizio OpenSearch di Amazon consente di indicizzare i dati appena vengono importati per poterli analizzare da più origini in modo istantaneo e individuare e neutralizzare più rapidamente le minacce.
Fasi successive per l'analisi dei dati di registro AWS
Consulta queste risorse consigliate:
- Avvia la prova gratuita del servizio OpenSearch di Amazon
- Partecipa al workshop su come costruire una soluzione per l'analisi dei dati di registro
- Puoi anche iniziare a usare il piano gratuito del Servizio OpenSearch di Amazon. Usa fino a 750 ore al mese su istanze t2 e t3 small.search con il Piano gratuito AWS.
Passaggi successivi su AWS
Ottieni accesso istantaneo al Piano gratuito di AWS.
