Serie sobre fundadores de SaaS: la trayectoria de Dremio para alcanzar el estado de unicornio

Publicación de invitados: Afza Wajid, Bill Tarr y Mark Birch de AWS

Con la proliferación de sistemas de interacción e inteligencia, cada vez se hace más hincapié en la entrega de información de datos en todas las organizaciones modernas. Sin embargo, para que los datos se analicen de manera eficaz, se requieren habilidades especializadas y un costoso código personalizado para centralizar los datos de distintos sistemas de almacenamiento antes de poder analizarlos. Con la llegada de los marcos de almacenamiento de datos distribuidos de código abierto, como Hadoop, los desarrolladores pudieron consultar directamente los orígenes de datos distribuidos, pero los científicos y analistas de datos seguían sin poder obtener valor de los datos mediante un sistema de autoservicio.

Dremio, una startup unicornio de la ronda de financiación de serie D fundada en 2015, simplifica la pila de análisis con un motor de consultas de alto rendimiento y alta eficiencia que permite a los consumidores de datos consultar directamente el almacenamiento de lago de datos en la nube a escala de petabytes, al tiempo que se eliminan las transferencias masivas de datos y la dependencia de los proveedores y se mitigan los riesgos de seguridad. Además, una capa semántica de autoservicio que conecta los orígenes de datos con las herramientas de inteligencia mejora el tiempo de obtención de valor para los científicos y analistas de datos. Dremio está ampliando el alcance de su solución con el lanzamiento de Dremio Cloud, un lago de datos nativo en la nube, como servicio que simplifica la experiencia del cliente.

El equipo de AWS SaaS Factory invitó al fundador y Chief Product Officer de Dremio, Tomer Shiran, a hablar sobre la trayectoria de Dremio hacia el software como servicio y a compartir los conocimientos clave para las empresas que crean ofertas de SaaS y plataforma como servicio (PaaS) en AWS. Shiran, un empresario con más de 15 años de experiencia en software empresarial, ha ocupado puestos de ingeniería y administración de productos en Hewlett Packard, Microsoft e IBM Research. Antes de trabajar en Dremio, fue VP of Product de MapR y ayudó a la empresa a pasar de cinco a casi 400 empleados y cientos de clientes empresariales. Siga leyendo para obtener más información sobre la trayectoria de Dremio hacia el estado de unicornio.

SaaS Factory: Tomer, gracias por dedicar un momento a hablar con nosotros hoy. Para empezar, cuéntenos un poco sobre la propuesta de valor sobre la que se fundó Dremio.

Tomer Shiran: Todo el mundo quiere más datos, pero, cuantos más datos haya, más difícil será obtener información significativa a partir de ellos de manera eficiente. El almacenamiento de lago de datos en la nube, como Amazon S3, se ha convertido en el destino preferido para almacenar grandes volúmenes de datos porque es económico, escalable y fácil de administrar. No obstante, para analizar dichos datos, las empresas siempre han tenido que trasladarlos y copiarlos a almacenamientos de datos patentados, un proceso que es costoso, complejo, arriesgado e inflexible.

El motor de lagos de datos de Dremio se encuentra entre el almacenamiento de lago de datos en la nube y los consumidores de datos, lo que les permite consultar los datos directamente para obtener paneles de alto rendimiento y análisis interactivos sin necesidad de copiar los datos en almacenamientos de datos patentados y, posteriormente, tener que crear tablas de agregación, extracciones, cubos u otros derivados. Dremio también proporciona una capa semántica compartida que permite a los analistas de datos descubrir, seleccionar, analizar y compartir conjuntos de datos en forma de autoservicio y centraliza la seguridad y el control de los datos para los equipos de datos. El resultado es una arquitectura de datos más simple y optimizada que reduce el tiempo de obtención de valor, al tiempo que mejora la seguridad de los datos y elimina la dependencia de los proveedores.

En términos más generales, la innovación de código abierto y el liderazgo intelectual del sector son fundamentales para la propuesta de valor de Dremio. Por ejemplo, Apache Arrow fue originalmente nuestro propio formato de memoria interna y decidimos convertirlo en código abierto. Ahora es el estándar para la computación en memoria, con más de 20 millones de descargas al mes. Más recientemente, creamos Project Nessie, que incorpora al lago de datos un control de versiones similar al de Git, lo que acelera la agilidad de la ingeniería de datos, la ciencia de datos y el análisis.

SaaS Factory: Esta semana habéis lanzado Dremio Cloud. Cuéntenos por qué han elegido el enfoque arquitectónico único adoptado.

Tomer Shiran: Dremio Cloud es un motor de consultas de lago de datos nativo en la nube que se ofrece como un servicio que escala con las cargas de trabajo de los clientes. Cada vez más, las empresas buscan servicios totalmente administrados que les permitan centrarse en obtener valor de los datos en lugar de preocuparse por la configuración y la administración de los sistemas. Por lo tanto, desarrollar una oferta de SaaS de Dremio fue un avance natural en nuestra historia.

Dremio Cloud proporciona consultas de simultaneidad alta y latencia baja directamente en Amazon S3 y una capa semántica que hace que los datos sean consumibles, coherentes y seguros para los analistas y científicos de datos. Consiste en un plano de control que funciona continuamente, recibe las consultas de los clientes y se encarga de planificar las consultas y administrar el motor, y un plano de datos compuesto por motores de computación que se encargan de ejecutar las consultas.

El plano de control de varios inquilinos es fundamental para la experiencia del cliente de Dremio Cloud, ya que aloja todas las interacciones con el cliente, incluida la interfaz de usuario, la API de REST y los puntos de conexión de consulta de datos. Cuando un usuario empresarial quiere llevar a cabo un análisis con Dremio Cloud, conecta su herramienta de BI preferida (como Tableau, Power BI, SageMaker, Looker o un cuaderno de Jupyter) al plano de control en app.dremio.cloud. El plano de control delega de forma segura la ejecución de las consultas en los motores de computación que se aprovisionan automáticamente en la cuenta de AWS del cliente, de modo que todo el procesamiento de los datos se lleva a cabo en la cuenta del cliente.

La arquitectura del plano de datos se compone de varios motores de computación del tamaño adecuado para admitir diferentes cargas de trabajo. Dremio Cloud, que se basa en esta arquitectura de varios motores, presenta la posibilidad de que los motores escalen dinámicamente en función del tamaño de la carga de trabajo, lo que ayuda a las empresas a abordar cualquier nivel de simultaneidad y, al mismo tiempo, mantener un rendimiento uniforme. Todos los datos se almacenan y procesan en la cuenta del cliente y se cifran tanto en tránsito como en reposo, lo que garantiza que los clientes tengan el control total de sus datos. Tampoco hay conexiones entrantes en el plano de datos, por lo que los clientes no tienen que buscar errores en sus firewalls o grupos de seguridad. Estas características dan como resultado una estrategia de seguridad y control más sólida para nuestros clientes.

El enfoque que adoptamos requirió una importante innovación técnica, tal como el uso integral de Apache Arrow para aumentar drásticamente el rendimiento de las consultas. Sin Arrow, serializar y deserializar las estructuras de datos es ineficiente y supone un desperdicio de memoria y recursos de CPU. Arrow permite a Dremio combinar las ventajas de las estructuras de datos en columnas con la computación en memoria, lo que proporciona beneficios de rendimiento y la flexibilidad de los esquemas dinámicos y los datos complejos.

SaaS Factory: ¿Quiénes son sus principales clientes y cómo cambia esto con la introducción de Dremio Cloud?

Tomer Shiran: Dremio siempre se ha diseñado para funcionar con cualquier empresa que quiera utilizar sus datos empresariales de forma estratégica. Cientos de empresas de todos los sectores utilizan Dremio para impulsar sus lagos de datos en la nube, incluidas instituciones financieras como Standard Chartered Bank, farmacéuticas como Johnson & Johnson y fabricantes como Honeywell. Amazon utiliza Dremio para analizar e impulsar la inteligencia empresarial a partir de los datos en su lago de datos interno, como los datos de la cadena de suministro.

Aun así, hemos diseñado Dremio Cloud para que sea escalable bidireccionalmente, de modo que sea un servicio que puedan utilizar de forma eficaz las startups respaldadas por capital riesgo que tienen muchos datos que analizar, pero que no necesariamente tienen los recursos para operar su propia infraestructura de datos o que prefieren no gastar el dinero de riesgo ganado con tanto esfuerzo en un almacenamiento de datos en la nube.

SaaS Factory: La incorporación de un producto de SaaS implica una transformación integral de la empresa y la organización. ¿Cómo han evolucionado las diferentes funciones de la organización para alinearse mejor con el modelo empresarial y de entrega de SaaS?

Tomer Shiran: Así es. En cuanto a la ingeniería de productos, creamos cientos de miles de pruebas automatizadas y un proceso integral de CI/CD. Ampliamos nuestra organización de desarrollo de productos para incluir equipos de ingeniería de fiabilidad del sitio (SRE), DevOps y seguridad, con líderes de empresas como Google y Salesforce. Gracias a ello, ahora podemos publicar actualizaciones de Dremio Cloud a diario.

Además de los cambios en el equipo de ingeniería de productos, alineamos nuestros equipos de atención al cliente de la empresa para respaldar un modelo de adopción de autoservicio. Nuestros equipos de ventas y marketing se centran en conseguir clientes potenciales de alta calidad para la oferta en línea de Dremio Cloud, mientras que nuestros equipos de asistencia y éxito del cliente utilizan los datos operativos y la automatización para ofrecer una asistencia proactiva y específica que garantice una importante satisfacción de los clientes. La guinda del pastel es que podemos usar Dremio internamente con nuestros propios datos como base para ello.

SaaS Factory: ¿Cómo se pusieron en contacto con AWS mientras desarrollaban Dremio Cloud?

Tomer Shiran: Siempre hemos tenido una relación especial con Amazon, ya que nos hemos asociado con varios equipos de la empresa. Trabajamos en estrecha colaboración con numerosos equipos de servicios de AWS, como Amazon S3, AWS Glue y Amazon Lake Formation, para lograr la integración entre nuestros servicios y colaborar en nuevas características. Nos asociamos con el equipo de AWS Marketplace para distribuir Dremio en el mercado, lo que permite a las empresas consumir nuestro producto y pagar a través de AWS. Nuestros equipos de ventas y marketing trabajan con la Red de socios de AWS y las organizaciones de ventas de AWS para ofrecer Dremio a los clientes de AWS, lo que les permite crear lagos de datos o depósito de datos de próxima generación.

También hemos tenido el privilegio de trabajar con el equipo de AWS SaaS Factory durante los últimos dos años. Cuando iniciamos el proceso para crear Dremio Cloud, queríamos utilizar la tecnología de vanguardia y las prácticas recomendadas para crear el mejor servicio en la nube de su clase. Dado que muchos servicios de SaaS y PaaS se han basado en AWS en los últimos 10 años, incluidos los propios servicios de AWS, queríamos evitar los desafíos y las limitaciones a los que se enfrentaban otros servicios y, al mismo tiempo, sacar provecho de lo que funcionaba bien. Para ello, nos asociamos con el equipo de SaaS Factory para desarrollar una arquitectura que ofrezca escalabilidad, seguridad y rendimiento incomparables y para desarrollar una estrategia de precios flexible basada en el uso para garantizar un modelo de entrega de SaaS optimizado para los clientes de todos los segmentos.

SaaS Factory: Dremio ya es oficialmente un “unicornio”, según su última ronda de financiación de serie D, de enero de 2021. Si estuviera hablando con aspirantes a fundadores, ¿qué consejo les daría?

Tomer Shiran: Si hay una necesidad importante en el mercado que le entusiasme, no dude en lanzar su propia startup. No obstante, dedique tiempo a crear el mejor producto de esa categoría. Por ejemplo, en el ámbito de la infraestructura de datos, se requiere una cantidad significativa de propiedad intelectual para ofrecer un producto consolidado. Pasamos cinco años en Dremio creando desde cero lo que pensábamos que sería un verdadero motor de lago de datos de próxima generación, centrándonos en la innovación y el éxito de los clientes. Una vez establecida una base sólida, será más fácil lograr un crecimiento exponencial. Hoy, seis años después de su fundación, Dremio impulsa los lagos de datos en la nube de muchas de las empresas más grandes del mundo y ha recaudado más de 200 000 000 USD en financiación de riesgo en el último año.

A Dremio y AWS nos entusiasma el futuro de la administración de datos y la innovación que ofrecemos con Dremio Cloud. Si quiere obtener más información, consulte la página de Dremio Cloud.

Acerca de AWS SaaS Factory

AWS SaaS Factory ayuda a las organizaciones en cualquier etapa de la transición hacia SaaS. Si desea crear nuevos productos, migrar aplicaciones existentes u optimizar las soluciones de SaaS en AWS, AWS SaaS Factory Program puede ayudarlo. Se recomienda a los creadores y operadores de SaaS que se pongan en contacto con el representante de su cuenta para solicitar información sobre los modelos de participación y trabajar con el equipo de AWS SaaS Factory.

Visite AWS SaaS Factory Insights Hub para descubrir más contenido técnico y empresarial y prácticas recomendadas. Regístrese para estar al tanto de las últimas noticias, recursos y eventos sobre SaaS en AWS.