Funzionalità del servizio OpenSearch di Amazon

Installazione e configurazione: iniziare con Amazon OpenSearch Service è facile. È possibile installare e configurare il cluster Amazon OpenSearch Service utilizzando la Console di gestione AWS o una singola chiamata API tramite l'interfaccia a riga di comando (CLI) di AWS. È possibile specificare il numero di istanze, il tipo di istanza, le opzioni di archiviazione e modificare o eliminare i cluster esistenti in qualsiasi momento.

Aggiornamenti in loco: Amazon OpenSearch Service facilita l’upgrade dei cluster OpenSearch ed Elasticsearch (fino alla versione 7.10) a versioni più recenti senza alcun tempo di inattività grazie agli upgrade di versione in loco. Gli aggiornamenti in loco eliminano il fastidio di acquisire uno snapshot manuale, ripristinarlo su un cluster che esegue la versione più recente e aggiornare tutte le referenze dell'endpoint.

Monitoraggio e avvisi degli eventi: Amazon OpenSearch Service fornisce il monitoraggio e gli avvisi degli eventi integrati, consentendo di monitorare i dati archiviati nel cluster e inviare automaticamente notifiche in base a soglie preconfigurate. Creata utilizzando il plug-in di avviso OpenSearch, questa caratteristica consente di configurare e gestire gli avvisi utilizzando l'interfaccia Kibana o i pannelli di controllo OpenSearch e l'API REST. È possibile ricevere notifiche tramite webhook personalizzati, Slack, Amazon Simple Notification Service (SNS) e Amazon Chime. È anche possibile visualizzare i parametri sull’integrità dei cluster, tra cui numero di istanze, integrità del cluster, documenti disponibili per le ricerche, CPU e memoria, nonché utilizzo del disco per nodi di dati e nodi principali tramite Amazon CloudWatch, senza costi aggiuntivi.

Supporto per più lingue di query: con Amazon OpenSearch Service, non è necessaria la competenza nella lingua dominio-specifica (Domain-Specific Language, DSL) per query con OpenSearch. Scrivi query SQL con OpenSearch SQL o utilizza OpenSearch Piped Processing Language (PPL), un linguaggio di query che consente di utilizzare la sintassi pipe (|) per esplorare, scoprire ed eseguire query sui dati. I pannelli di controllo OpenSearch includono anche un workbench SQL e PPL.

Integrazione con strumenti open source: Amazon OpenSearch Service offre Pannelli di controllo OpenSearch e Kibana (Elasticsearch versione 7.10 e precedenti) integrati e si integra con Logstash, in modo da poter importare e visualizzare i dati utilizzando gli strumenti open source preferiti. Esegui analisi dei dati di traccia con il supporto di Amazon OpenSearch Service per lo standard OpenTelemetry open source e continua a utilizzare il codice esistente con accesso diretto alle API e ai plug-in Elasticsearch come Kuromoji, Phonetic Analysis, Ingest Processor Attachment, Ingest User Agent Processor, and Mapper Murmur3.

Sicurezza: Con Amazon OpenSearch Service, è possibile connettere in modo sicuro le applicazioni all'ambiente gestito Elasticsearch (versione 7.10 e precedenti) o OpenSearch dall'Amazon Virtual Private Cloud (VPC) o tramite Internet pubblico, configurando l'accesso alla rete utilizzando gruppi di sicurezza VPC o policy di accesso basate su IP. È anche possibile autenticare in modo sicuro gli utenti e controllare l'accesso utilizzando Amazon Cognito, AWS Identity and Access Management (IAM) o l'autenticazione di base con nome utente e password. Amazon OpenSearch Service sfrutta il plug-in di sicurezza OpenSearch, consentendo di definire autorizzazioni granulari per indici, documenti o campi. È anche possibile estendere Kibana con visualizzazioni di sola lettura e supporto multi-tenant sicuro. Amazon OpenSearch Service supporta anche la crittografia integrata per i dati inattivi e in transito, così da poter proteggere i dati quando sono archiviati nel dominio o in snapshot automatizzati e durante il trasferimento tra i nodi del dominio. Il servizio OpenSearch di Amazon è idoneo per HIPAA e conforme agli standard PCI DSS, SOC, ISO e FedRAMP, semplificando la realizzazione di applicazioni che soddisfano i requisiti di conformità.

Serverless: esegui il provisioning automatico e la regolazione costante per ottenere velocità di importazione dei dati elevate e tempi di risposta nell'ordine dei millisecondi durante le variazioni dei modelli di utilizzo e della domanda con Amazon OpenSearch Serverless.

L'archiviazione hot permette il recupero rapido dei dati a cui si accede di frequente. UltraWarm è un livello di archiviazione warm che integra il livello di archiviazione hot di Amazon OpenSearch Service fornendo un'archiviazione meno costosa per i dati meno recenti e a cui si accede meno frequentemente, pur fornendo un'esperienza di query interattiva. UltraWarm archivia i dati in Amazon S3 e utilizza nodi personalizzati altamente ottimizzati, costruiti appositamente sul Sistema AWS Nitro,, per memorizzare nella cache, pre-recuperare ed eseguire query sui dati rapidamente.

Con UltraWarm, è possibile mantenere fino a 3 PB di dati in un singolo cluster di Amazon OpenSearch Service riducendo il costo per GB di quasi il 90% rispetto al livello di archiviazione hot. È anche possibile eseguire una query e visualizzare facilmente i dati nell'interfaccia di Kibana (versione 7.10 e precedenti) o dei Pannelli di controllo OpenSearch. Analizza i dati di log sia recenti (settimane) che storici (mesi o anni) senza passare ore o giorni a ripristinare i registri archiviati.

D: Cos'è UltraWarm?

UltraWarm è un livello di storage warm completamente gestito, a basso costo per Amazon OpenSearch Service. È compatibile con OpenSearch, Elasticsearch (fino alla versione 7.10), Pannelli di Controllo OpenSearch e Kibana (fino alla versione 7.10), consentendo di analizzare i dati utilizzando gli stessi strumenti forniti oggi da Amazon OpenSearch Service. UltraWarm si integra perfettamente con le caratteristiche esistenti di Amazon OpenSearch Service, per esempio notifiche integrate, query SQL ecc. 

D: Qual è il vantaggio di utilizzare UltraWarm?

UltraWarm consente di espandere con costi contenuti i dati che desideri analizzare su Amazon OpenSearch Service ottenendo informazioni dettagliate preziose su dati che in precedenza potrebbero esser stati cancellati o archiviati. Con UltraWarm, ora puoi conservare in modo economico più dati per analizzarli interattivamente quando ritieni opportuno.

D: In che modo UltraWarm si relaziona e lavora con Amazon OpenSearch Service?

Amazon OpenSearch Service supporta due livelli integrati di storage, a caldo e UltraWarm. Il livello di storage a caldo è alimentato da nodi di dati utilizzati per indicizzare, aggiornare e fornire l'accesso più rapido possibile ai dati. I nodi UltraWarm sono complementari al livello a caldo fornendo in modo economico un livello di sola lettura per i dati più vecchi a cui si accede meno di frequente.

D: Perché UltraWarm ha bisogno solamente di dati primari per la durabilità?

Per lo storage, UltraWarm utilizza Amazon Simple Storage Service (Amazon S3), che è progettato per una durabilità del 99,999999999% e rende superflua la configurazione di una replica Elasticsearch per i dati a caldo. Inoltre, in presenza di più di un nodo UltraWarm, nel caso di errore di un nodo, gli altri nodi UltraWarm accederanno automaticamente ai dati come necessario.

D: Quali volumi di dati è possibile archiviare in UltraWarm?

UltraWarm supporta fino a 3 PB di dati primari. UltraWarm è progettato per permettere l'utilizzo completo del 100% di questo storage e, dal momento che UltraWarm archivia i dati su S3 per la durabilità, non è necessario utilizzare storage aggiuntivo per le repliche Elasticsearch.

D: Quali sono le caratteristiche delle prestazioni di UltraWarm?

UltraWarm offre un'esperienza interattiva in Pannelli di Controllo OpenSearch e Kibana implementando il caching I/O granulare, il prefetch e le ottimizzazioni del motore di query per fornire prestazioni simili alle istanze ad alta densità che utilizzano lo storage locale.

D: In che modo è possibile iniziare a utilizzare UltraWarm?

Per iniziare ad utilizzare UltraWarm, crea un nuovo dominio del servizio OpenSearch di Amazon con UltraWarm abilitato tramite console, CLI o API. Una volta creato il dominio, puoi spostare i dati dal livello a caldo a UltraWarm utilizzando le API OpenSearch/Elasticsearch. Ulteriori informazioni. 

L'archiviazione a freddo è l'opzione di archiviazione più economica per Amazon OpenSearch Service, che permette di mantenere i dati a cui si accede di rado in Amazon S3 e di pagare per il calcolo solo quando è necessario. L'archiviazione a freddo si basa su UltraWarm, che fornisce nodi specializzati per cui i dati vengono archiviati in Amazon S3 e utilizza una sofisticata soluzione di caching per offrire un'esperienza interattiva. Disaccoppiando le risorse di calcolo dall’archiviazione, l'archiviazione a freddo consente di mantenere qualsiasi quantità di dati nel dominio Amazon OpenSearch Service riducendo il costo per GB a prezzi di archiviazione di Amazon S3. Distacca dati warm cronologici o ad accesso infrequente mentre non vengono utilizzati e libera il calcolo per ridurre i costi. Scopri e allega selettivamente i dati freddi ai nodi UltraWarm del dominio in pochi secondi con la scelta di un'interfaccia di Kibana (versione 7.10 e precedenti) o dei Pannelli di controllo OpenSearch e API di facile utilizzo. Con l'archiviazione a freddo, è possibile eseguire query sui dati freddi allegati con un'esperienza interattiva e prestazioni simili a quelle dei dati warm.

D: Cos'è l’archiviazione a freddo?

L'archiviazione a freddo è un livello di archiviazione a costo più basso completamente gestito per il servizio OpenSearch di Amazon che semplifica l'archiviazione e l'analisi in modo sicuro dei tuoi log storici on demand. L’archiviazione a freddo ti consente di distaccare completamente l’archiviazione dal calcolo quando non viene eseguita attivamente l'analisi dei dati e ti permette di mantenere i dati subito disponibili un costo inferiore. I dati dello storage a freddo sono disponibili nel dominio di Amazon OpenSearch Service tramite i nodi UltraWarm. L’archiviazione a freddo si integra perfettamente con OpenSearch e pannelli di controllo OpenSearch, nonché con Elasticsearch (versione 7.9, 7.10) e Kibana (versione 7.9, 7.10). Ti consente di analizzare i dati utilizzando gli stessi strumenti forniti oggi dal servizio OpenSearch di Amazon.

D: Perché dovrei utilizzare lo storage a freddo?

Lo storage a freddo consente di espandere con costi contenuti i dati che desideri analizzare su Amazon OpenSearch Service e ottenere informazioni dettagliate preziose su dati che in precedenza potrebbero esser stati cancellati o archiviati. Lo storage a freddo è perfetto per eseguire ricerche o analisi forensi sui dati precedenti sfruttando tutte le funzionalità di Amazon OpenSearch Service, a un prezzo accessibile. Lo storage a freddo è scalabile ed è supportato da Amazon S3. Trova e scopri i dati di cui necessiti, collegali ai nodi UltraWarm nel cluster e rendili disponibili per l'analisi nel giro di pochi secondi. I dati inattivi collegati sono soggetti alle policy esistenti di controllo granulare dell'accesso che limitano l'accesso a livello di indice, documento e campo.

D: In che modo l'archiviazione a freddo si relaziona e lavora con Amazon Elasticsearch Service?

Con l'archiviazione a freddo, Amazon OpenSearch Service supporta tre piani di archiviazione integrati: a caldo, UltraWarm e a freddo. Il piano hot viene usato per indicizzare, aggiornare i dati e offrire la massima velocità di accesso possibile. UltraWarm fornisce un'estensione ottimale del piano hot con nodi di calcolo che offrono un'esperienza interattiva altamente performante per i dati memorizzati in modo durevole in Amazon S3 e che devono essere sempre disponibili, supportando attualmente fino a 3 PB di dati in un singolo dominio. Con lo storage a freddo, adesso puoi distaccare indici da UltraWarm quando non vengono utilizzati e liberare il calcolo per ridurre i costi. Con le nuove API di storage a freddo e Pannelli di Controllo OpenSearch e l'interfaccia Kibana, è possibile scoprire indici basati su modelli di indice e timestamp dei dati per trovare facilmente ciò di cui hai bisogno per l'analisi. I dati possono quindi essere collegati al dominio e sono pronti per l'analisi nel giro di pochi secondi. Una volta completata l'analisi, basta distaccare i dati per liberare di nuovo il calcolo. 

D: Quali volumi di dati è possibile archiviare nello storage a freddo?

Lo storage a freddo è scalabile. Mentre i limiti di storage per i dati hot e warm rimangono a 3 PB, nello storage a freddo puoi archiviare qualsiasi quantità di dati.

D: Quali sono le caratteristiche delle prestazioni dello storage a freddo?

Lo storage a freddo si basa su UltraWarm, che fornisce nodi specializzati per cui i dati vengono archiviati in Amazon S3 e utilizza una sofisticata soluzione di caching per offrire un'esperienza interattiva. I dati a freddo devono essere prima allegati ai nodi UltraWarm del tuo dominio Amazon OpenSearch Service. Una volta collegati i dati, le query a esse correlate vengono alimentate dai nodi UltraWarm offrendo le stesse prestazioni dei dati warm. Per collegare gli indici inattivi al dominio bastano pochi secondi se la capacità di UltraWarm disponibile per i dati richiesti è sufficiente. Se è richiesta ulteriore capacità, è necessario aggiungere nodi dei dati UltraWarm. Questa operazione può richiedere alcuni minuti.

Il servizio OpenSearch offre funzionalità di ricerca di documenti in tempo reale che vanno oltre la ricerca nel database. Questo servizio completamente gestito utilizza il motore OpenSearch per la ricerca. OpenSearch è un motore di ricerca open source completo, basato su Lucene, portatile e indipendente dalla piattaforma che supporta la ricerca per parole chiave, la ricerca in linguaggio naturale, i sinonimi, più lingue e altro ancora. Funzionalità di ricerca principali:

• Acquisisce dati da un database o da un sistema di gestione dei contenuti, da un crawler Web o Intranet, o da un servizio di streaming
  
• Fornisce API di ricerca per creare un front-end sopra ai servizi di ricerca
  
• Supporta le ricerche su molti attributi
  
• Trova nuovi documenti che corrispondono a una serie di query salvate con la ricerca prospettica (percolazione)
  
• Valuta i modelli di utilizzo ed esegue la pianificazione della capacità e la previsione dei costi grazie alle funzionalità di monitoraggio del servizio OpenSearch
  
• Utilizza algoritmi di machine learning (ML) integrati per la ricerca K-Nearest Neighbor (k-NN) per eseguire ricerche vettoriali, di similarità, semantiche e di altro tipo
• Utilizza l'algoritmo di machine learning integrato per il Learning to Rank, al fine di calcolare i punteggi di pertinenza.
  
• Utilizza più linguaggi di query, incluso SQL
  

Consenti ai tuoi team delle operazioni di sicurezza (SecOps) di rilevare rapidamente le potenziali minacce disponendo degli strumenti necessari per le indagini di sicurezza, il tutto con bassi costi di conservazione dei dati. Proteggi i dati aziendali e rileva rapidamente le potenziali minacce alla sicurezza. Il servizio OpenSearch fornisce supporto immediato per oltre 2.200 regole di sicurezza Sigma open source per rilevare potenziali minacce alla sicurezza filtrando i risultati di sicurezza. Puoi personalizzare o utilizzare le regole Sigma predefinite anche per rilevare rapidamente potenziali minacce alla sicurezza e inviare avvisi a una destinazione preselezionata. Usa il supporto immediato per più origini di log tra cui Windows, Netflow, AWS CloudTrail, DNS e altro ancora. 

D: In cosa consiste l’analisi della sicurezza?

L'analisi della sicurezza di OpenSearch è progettata per indagare, rilevare, analizzare e rispondere alle minacce alla sicurezza che potrebbero mettere a repentaglio le operazioni delle funzioni aziendali critiche. Queste minacce includono la potenziale esposizione di dati riservati, attacchi informatici e altri eventi avversi alla sicurezza. Include gli strumenti e le funzionalità necessari per definire i parametri di rilevamento, generare avvisi e rispondere efficacemente alle potenziali minacce.

D: Che tipo di log di sicurezza supporta l'analisi della sicurezza?

Al momento sono supportati 8 tipi di log, tra cui Netflow, log DNS, log di accesso Apache, log Windows, log AD/LDAP, log di sistema Linux, log AWS CloudTrail e log di accesso Amazon S3

D: Come posso inviare questi log di sicurezza a OpenSearch?

È possibile utilizzare le pipeline di immissione esistenti che inviano dati in formato JSON a OpenSearch.

D: L'analisi della sicurezza fornisce regole di sicurezza pronte all'uso? 

Sì, l'analisi di sicurezza OpenSearch include oltre 2.200 regole di sicurezza Sigma da utilizzare immediatamente con diversi tipi di rilevatori di sicurezza. Queste regole vengono preselezionate una volta fornita una configurazione minima sull'origine del log.

D: Posso creare regole personalizzate?

Sì, è possibile aggiungere regole personalizzate per i tipi di log supportati sopra indicati. Queste regole devono essere in un formato di regole Sigma e possono essere importate in OpenSearch prima di essere utilizzate con un rilevatore di sicurezza.

D: È necessario convertire i log in un formato o uno schema specifico? 

Sì, i log devono essere in formato JSON. Si consiglia di inviarli in formato ECS (Elastic Common Schema)

D: Devo pagare costi di licenza aggiuntivi per utilizzare le analisi di sicurezza? 

Le analisi di sicurezza di OpenSearch sono disponibili senza costi aggiuntivi o costi di licenza. Paghi lo stesso costo che pagheresti per inserire altri dati nel servizio OpenSearch. 

D: Quale versione del servizio OpenSearch supporta l'analisi della sicurezza? 

L’analisi della sicurezza è preinstallata con il servizio OpenSearch che esegue OpenSearch versione 2.5 o successiva.

D: Esistono differenze tra le analisi di sicurezza di OpenSearch e Amazon Security Lake? 

Amazon Security Lake centralizza automaticamente i dati di sicurezza da fonti cloud, on-premise e personalizzate in un data lake appositamente creato e archiviato nel tuo account. Questi dati aggregati vengono normalizzati in un formato comune e archiviati in bucket S3. Questi dati possono essere inseriti nel servizio OpenSearch, che consente di visualizzarli, interrogare, creare report sugli stessi. L'analisi della sicurezza fornisce un motore di regole di sicurezza che può aiutarti a rilevare e segnalare potenziali eventi di sicurezza, nonché a correlarli per agevolare le indagini.

D: Posso usare le analisi di sicurezza di OpenSearch con Amazon Security Lake? 

Sì, puoi importare log aggiuntivi da Security Lake in OpenSearch e creare un rilevatore per eseguire le regole pertinenti sui log importati.

Ulteriori informazioni sulle funzionalità del servizio OpenSearch:

• Attenzione ai costi
• Integrazioni
• Servizio gestito
• Serverless
• Osservabilità
• Sicurezza