Cómo Elastic creó una solución sin servidor para la búsqueda, la observabilidad y la seguridad con AWS

Elastic, fundada en 2012, es conocida por su motor de búsqueda y análisis distribuido, Elasticsearch. En 2015, la empresa agregó una oferta en la nube a su oferta en las instalaciones, denominada Elastic Cloud. La oferta en la nube se creó inicialmente sobre AWS, pero más tarde estuvo disponible en todas las nubes públicas.

A medida que Elastic se expandió hacia soluciones de IA generativa, desarrolló Search AI Lake, una arquitectura optimizada para la nube que ofrece amplias capacidades de almacenamiento y búsqueda a través de Elasticsearch para consultas de baja latencia de grandes volúmenes de datos.

En 2022, la empresa comenzó a desarrollar Elastic Cloud Serverless en Search AI Lake, que elimina la carga administrativa de administrar la capacidad, el tamaño y las actualizaciones y facilita a los clientes el uso de las características de las soluciones para la IA generativa y otras aplicaciones. Elastic usó AWS para crear esta oferta sin servidor. “AWS es el entorno en la nube más utilizado del mundo y una gran parte de nuestros clientes utilizan AWS”, afirma Uri Cohen, vicepresidente de administración de productos para la ingeniería de plataformas de Elastic.

Elastic usa una arquitectura sin estado para lograr la capacidad de administración, escalabilidad y eficiencia de Elastic Cloud Serverless. El equipo diseñó la solución para garantizar que los clientes no se enfrentaran a desafíos operativos y que el sistema se adaptara correctamente a las cargas de trabajo de los clientes mediante servicios como Amazon Elastic Compute Cloud (Amazon EC2), que proporciona una capacidad de computación segura y redimensionable para prácticamente cualquier carga de trabajo. Para lograr una optimización aún mayor, Elastic usa los procesadores de AWS Graviton, una familia de procesadores diseñados para ofrecer la mejor relación entre precio y rendimiento para las cargas de trabajo en la nube que se ejecutan en Amazon EC2, con unidades de estado sólido NVMe conectadas localmente. “El rendimiento que obtenemos de esas unidades NVMe por el precio que pagamos por ellas en nuestra oferta en la nube actual no tiene parangón, por lo que era natural que también usáramos las instancias de AWS Graviton para nuestra oferta sin servidor”, afirma Cohen. Elastic puede almacenar cientos de petabytes de datos en las unidades y, al mismo tiempo, administrar decenas de miles de instancias de computación por día.

Para ayudar a los clientes a almacenar cantidades masivas de datos a costos muy bajos, Elastic Cloud Serverless usa Amazon Simple Storage Service (Amazon S3), un servicio de almacenamiento de objetos, como sistema de registro de los datos de los clientes. La empresa utiliza Amazon S3 para almacenar y recuperar grandes cantidades de datos con alta disponibilidad y durabilidad. “Con nuestra nueva arquitectura Search AI Lake, ofrecemos a los clientes la capacidad de almacenar cantidades masivas de datos, como un lago de datos, pero en el que se pueden hacer búsquedas interactivas”, afirma Cohen. “La nueva arquitectura admite todas las increíbles tareas que se pueden hacer con Elasticsearch, ya que busca en grandes cantidades de datos y obtiene respuestas de forma inmediata”.

Además, Elastic usa Amazon Elastic Kubernetes Service (Amazon EKS), la forma más fiable de iniciar, ejecutar y escalar Kubernetes, como sustrato para todos sus servicios. Elastic también usa sus propias soluciones de observabilidad y seguridad para supervisar y proteger la oferta sin servidor.

En octubre de 2023, Elastic lanzó una versión preliminar privada de Elastic Cloud Serverless. En abril de 2024, la oferta se lanzó para su versión preliminar pública en cuatro regiones de AWS, y más de 1000 clientes la probaron y enviaron sus comentarios. Durante el periodo de versión preliminar, SAP Concur destacó la simplicidad de uso de la solución y las impresionantes capacidades de escalado automático. Two Six Technologies también elogió el sencillo proceso de configuración y señaló que podía aprovisionar nuevos proyectos sin necesidad de conocimiento técnico experto; la empresa experimentó una latencia cercana a cero al ingerir y consultar datos.

Elastic descubrió que el 20 % de sus cargas de trabajo en la oferta en la nube actual estaban en una región de AWS. Para asegurarse de que la nueva solución sin servidor fuera lo suficientemente escalable, planificó su capacidad operativa en todas las regiones de AWS en consecuencia. También dividió las cargas de trabajo de cada región de AWS en varios clústeres de Kubernetes, que podían administrarse de forma independiente, y se agregaron más clústeres de Kubernetes para escalar. “Si un clúster de Kubernetes tiene errores, el impacto se limita únicamente a las cargas de trabajo de ese clúster”, explica Cohen. “Se trata de unos pocos cientos de cargas de trabajo de clientes en comparación con miles de cargas de trabajo cuando toda la región funciona como una sola unidad”. Esto ayudó a Elastic a minimizar el impacto de los problemas operativos y a simplificar el escalado.

Se necesitó 1 año para completar el proyecto, que es uno de los proyectos más grandes que Elastic ha emprendido desde su creación. “Rediseñamos todo: la plataforma en la nube, el producto principal de Elasticsearch, los modelos operativos y de precios y los servicios relacionados con Elasticsearch”, afirma Cohen. “El hecho de que hayamos puesto todo en marcha en 1 año a tal escala me parece bastante alucinante”.

Al usar AWS, Elastic podría centrarse en crear su oferta sin preocuparse por la infraestructura subyacente. “Podemos innovar y generar valor empresarial sin distracciones operativas y, dada la madurez y la enorme capacidad, rara vez nos encontramos con problemas de capacidad o fiabilidad”, explica Cohen. “Pudimos desarrollar nuestros servicios en AWS con mucha tranquilidad, sin preocuparnos por la flexibilidad, la fiabilidad o la disponibilidad de los servicios de AWS”.

En diciembre de 2024, se lanzó Elastic Cloud Serverless para su disponibilidad general en AWS. Elastic colaboró estrechamente con el equipo de AWS para planificar la disponibilidad y la capacidad de implementación en muchas más regiones de AWS.

Las soluciones de Elastic, incluida la nueva oferta sin servidor, están disponibles en AWS Marketplace. Elastic se compromete a seguir utilizando AWS Marketplace para sus ofertas, garantizando que sus clientes cuenten con una plataforma fiable para detectar, implementar y administrar el software que se ejecuta en AWS. “Cada año experimentamos un fuerte crecimiento en las oportunidades que brindamos y lanzamos junto con AWS”, reconoce Alyssa Fitzpatrick, vicepresidenta global de ventas para socios de Elastic.

Elastic espera que los clientes utilicen su oferta sin servidor. “Los usuarios, especialmente si se dedican a la búsqueda, la observabilidad, la seguridad o la creación de aplicaciones de IA generativa, así como de servicios e infraestructuras de supervisión, descubrirán que, con la tecnología sin servidor, todo es mucho más fácil”, afirma Cohen.