In che modo Elastic ha creato una soluzione serverless per la ricerca, l’osservabilità e la sicurezza ricorrendo ad AWS

Fondata nel 2012, Elastic è nota per il suo motore di ricerca e analisi distribuito, Elasticsearch. Nel 2015, l’azienda ha aggiunto un’offerta cloud alla sua offerta on-premises, denominata Elastic Cloud. L’offerta cloud è stata inizialmente costruita su AWS, e successivamente è stata resa disponibile su tutti i cloud pubblici.

Con l’espansione di Elastic nel campo delle soluzioni di IA generativa, è stato sviluppato Search AI Lake, un’architettura ottimizzata per il cloud che offre vaste capacità di archiviazione e ricerca tramite Elasticsearch per l’interrogazione a bassa latenza di grandi volumi di dati.

Nel 2022, l’azienda ha iniziato a sviluppare Elastic Cloud Serverless su Search AI Lake, che elimina l’onere amministrativo della gestione della capacità, del dimensionamento e degli aggiornamenti, semplificando l’utilizzo delle funzionalità delle soluzioni per l’IA generativa e altre applicazioni da parte dei clienti. Elastic ha utilizzato AWS per creare questa offerta serverless. “AWS è l’ambiente cloud più utilizzato al mondo e gran parte dei nostri clienti utilizza AWS”, afferma Uri Cohen, vicepresidente della gestione dei prodotti per l’ingegneria delle piattaforme presso Elastic.

Elastic utilizza un’architettura stateless per ottenere la gestibilità, la scalabilità e l’efficienza di Elastic Cloud Serverless. Il team ha progettato la soluzione in modo tale da garantire che i clienti non incontrassero difficoltà operative e che il sistema si adattasse alle loro esigenze in termini di carico di lavoro, utilizzando servizi come Amazon Elastic Compute Cloud (Amazon EC2), che fornisce una capacità di calcolo sicura e ridimensionabile per praticamente qualsiasi carico di lavoro. Per una maggiore ottimizzazione, Elastic utilizza i processori AWS Graviton, una famiglia di processori progettati per offrire il miglior rapporto prezzo-prestazioni per i carichi di lavoro cloud in esecuzione su Amazon EC2, con unità a stato solido NVMe collegate localmente. “Le prestazioni che otteniamo da queste unità NVMe per il prezzo che paghiamo nella nostra attuale offerta cloud sono impareggiabili, quindi è stato naturale per noi utilizzare le istanze AWS Graviton anche per la nostra offerta serverless”, afferma Cohen. Elastic è in grado di archiviare centinaia di petabyte di dati sui dischi rigidi gestendo ogni giorno decine di migliaia di istanze di calcolo.

Per aiutare i clienti a memorizzare enormi quantità di dati a costi molto contenuti, Elastic Cloud Serverless utilizza Amazon Simple Storage Service (Amazon S3), un servizio di archiviazione oggetti, come sistema di registrazione dei dati dei clienti. L’azienda utilizza Amazon S3 per archiviare e recuperare grandi quantità di dati con elevata disponibilità e durata. “Con la nostra nuova architettura Search AI Lake, offriamo ai clienti la possibilità di archiviare enormi quantità di dati, come un data lake, ma con la possibilità di effettuare ricerche interattive”, afferma Cohen. “La nuova architettura supporta tutte le incredibili funzionalità offerte da Elasticsearch, consentendo di effettuare ricerche su grandi quantità di dati e ottenere risposte immediate.”

Inoltre, Elastic utilizza il servizio Amazon Elastic Kubernetes Service (Amazon EKS), il modo più affidabile per avviare, eseguire e scalare Kubernetes, come substrato per tutti i suoi servizi. Elastic utilizza anche le proprie soluzioni di osservabilità e sicurezza per monitorare e proteggere l’offerta serverless.

Nell’ottobre 2023, Elastic ha rilasciato un’anteprima privata di Elastic Cloud Serverless. Nell’aprile 2024, l’offerta è stata rilasciata in anteprima pubblica in quattro regioni AWS e oltre mille clienti l’hanno testata e hanno fornito il loro feedback. Durante il periodo di anteprima, SAP Concur ha sottolineato la semplicità d’uso della soluzione e le sue straordinarie capacità di dimensionamento automatico. Two Six Technologies ha anche elogiato la semplicità del processo di configurazione, sottolineando che è possibile avviare nuovi progetti senza competenze tecniche specifiche. L’azienda ha inoltre riscontrato una latenza quasi nulla durante l’acquisizione e l’interrogazione dei dati.

Elastic ha scoperto che il 20% dei suoi carichi di lavoro nell’attuale offerta cloud si trovava in una regione AWS. Per garantire che la nuova soluzione serverless fosse sufficientemente scalabile, ha pianificato la sua capacità operativa nelle regioni AWS di conseguenza. Ha inoltre suddiviso i carichi di lavoro in ciascuna regione AWS in più cluster Kubernetes, che potevano essere gestiti in modo indipendente, con l’aggiunta di ulteriori cluster Kubernetes per il dimensionamento. “Se un cluster Kubernetes si guasta, l’impatto è limitato solo ai carichi di lavoro su quel cluster”, afferma Cohen. “Sono poche centinaia di carichi di lavoro dei clienti rispetto a migliaia di carichi di lavoro quando l’intera regione viene gestita come un’unica unità”. Ciò ha aiutato Elastic a minimizzare l’impatto dei problemi operativi e a semplificare il dimensionamento.

Ci è voluto un anno per completare il progetto, che è uno dei più grandi progetti intrapresi da Elastic sin dalla sua fondazione. “Abbiamo riprogettato tutto: la piattaforma cloud, il prodotto Elasticsearch di base, i modelli operativi e di prezzo e i servizi relativi a Elasticsearch”, afferma Cohen. “Il fatto che siamo riusciti a diventare operativi in un solo anno su una scala così ampia mi sembra davvero incredibile”.

Grazie all’utilizzo di AWS, Elastic ha potuto concentrarsi sullo sviluppo della propria offerta senza doversi preoccupare dell’infrastruttura sottostante. “Siamo in grado di innovare e generare valore aziendale senza distrazioni operative e, data la maturità e la vasta capacità, raramente incontriamo problemi di capacità o affidabilità”, afferma Cohen. “Abbiamo potuto sviluppare i nostri servizi su AWS in tutta tranquillità, senza preoccuparci della flessibilità, dell’affidabilità o della disponibilità dei servizi AWS”.

Nel dicembre 2024, Elastic Cloud Serverless è stato rilasciato e reso disponibile al pubblico su AWS. Elastic ha collaborato a stretto contatto con il team AWS per pianificare la disponibilità e la capacità necessarie alla distribuzione in molte altre regioni AWS.

Le soluzioni Elastic, inclusa la nuova offerta serverless, sono disponibili su AWS Marketplace. Elastic si impegna a continuare a utilizzare AWS Marketplace per le proprie offerte, garantendo ai propri clienti una piattaforma affidabile per individuare, distribuire e gestire software eseguibile su AWS. “Ogni anno registriamo una forte crescita nelle opportunità che offriamo e lanciamo insieme ad AWS”, afferma Alyssa Fitzpatrick, vicepresidente globale per le vendite ai partner di Elastic.

Elastic non vede l’ora che i clienti utilizzino la sua offerta serverless. “Gli utenti, in particolare quelli che operano nei settori della ricerca, dell’osservabilità, della sicurezza o dello sviluppo di applicazioni di IA generativa, nonché dei servizi di monitoraggio e delle infrastrutture, scopriranno che con il serverless tutto è molto più semplice”, afferma Cohen.