Procesamiento de datos 10 veces más rápido gracias a Amazon Redshift sin servidor con BlocPower

Fundada en 2014, BlocPower es una empresa líder con sede en Brooklyn, cuyo objetivo es lograr que las ciudades estadounidenses sean más ecológicas, inteligentes y saludables. Con una fuerza laboral diversa e inclusiva, compuesta por un 60 % de minorías y un 30 % de mujeres, el equipo de BlocPower proporciona un análisis energético a los administradores de edificios y propietarios de inmuebles en más de 10 ciudades, que los ayuda a comprender el potencial de modernizar sus edificios con fuentes de energía renovables. A partir de 2022, BlocPower implementó con éxito medidas de electrificación, energía solar y otras medidas de eficiencia energética en más de 4000 edificios.

Desde 2016, BlocPower desarrolló su canalización de procesamiento de datos en AWS y adoptó varias soluciones de computación basadas en la nube, incluida Amazon Elastic Compute Cloud (Amazon EC2), que ofrece una capacidad de computación segura y de tamaño variable para prácticamente cualquier carga de trabajo. Inicialmente, su equipo de DevOps escaló su canalización de procesamiento de datos seleccionando diferentes instancias de Amazon EC2 para ejecutar sus clústeres, lo que podía tardar entre 2 y 3 horas en completarse. “A medida que conseguíamos más clientes en BlocMaps y trabajábamos con más datos, tuvimos que escalar nuestro clúster horizontalmente”, afirmó Ankur Garg, director de Arquitectura y Análisis de Datos de BlocPower.

La empresa también migró sus datos a una combinación de soluciones de almacén de datos basadas en la nube, incluido Amazon Redshift, que es un almacén de datos en la nube rápido, sencillo y ampliamente utilizado. BlocPower almacena los datos que recopila de 100 millones de perfiles de edificios en Amazon Simple Storage Service (Amazon S3), que ofrece almacenamiento de objetos diseñado para recuperar cualquier cantidad de datos desde cualquier lugar. A medida que crecía la complejidad de los perfiles de datos de BlocPower, la empresa quería aumentar el acceso a más recursos de computación y opciones de administración de recursos para sus equipos. La startup estaba interesada en las ventajas de Amazon Redshift sin servidor y contrató al equipo de AWS. “El equipo de AWS hizo una presentación sobre Amazon Redshift sin servidor, que resultó muy útil y resolvió todas las dudas que teníamos sobre su uso en el futuro”, afirmó Sean Davis, arquitecto de datos de BlocPower.

El equipo de BlocPower trabajó junto con el equipo de AWS para crear una prueba de concepto y así ver cómo Amazon Redshift sin servidor afectaría el rendimiento y la administración del mayor volumen de datos de BlocMaps. “Hicimos pruebas comparativas con BlocMaps, que es lo que realmente nos sorprendió”, afirmó Davis. “Nuestra aplicación funcionó mucho mejor y hubo un impacto positivo en nuestra facturación gracias a Amazon Redshift sin servidor”. En concreto, la startup podía procesar y consultar sus datos en minutos, 10 veces más rápido en comparación con su arquitectura anterior.

Posteriormente, BlocPower decidió adoptar Amazon Redshift sin servidor. De este modo, la empresa redujo la cantidad de tiempo que sus ingenieros de DevOps dedicaban a escalar sus clústeres. Además, mediante la implementación de Amazon Redshift sin servidor junto con Amazon S3 y Amazon Redshift, BlocPower adquirió la capacidad de consultar sus datos en numerosos orígenes de datos, incluidos los buckets de Amazon S3 y los datos extraídos mediante API remotas a través de AWS Glue, lo que ayuda a las empresas a descubrir, preparar e integrar todos sus datos prácticamente a cualquier escala. BlocPower ejecuta procesos de forma intermitente para combinar orígenes de datos y llevar a cabo transformaciones de datos. A continuación, el equipo carga los resultados en Amazon Redshift. Luego de presentar los clústeres de Amazon Redshift sin servidor que se escalan automáticamente en función de los picos de uso, el rendimiento de BlocPower en tiempo de ejecución fue 10 veces mejor. “Podemos consultar nuestros datos casi en tiempo real”, afirmó Davis. “También vimos una mejora en nuestras API. Estos dos factores facilitaron la decisión de usar Amazon Redshift sin servidor”.

Estas mejoras de rendimiento en el backend de la aplicación BlocMaps resultaron en una experiencia de usuario más fluida para los clientes de BlocPower. Mediante el uso de Amazon Redshift, la startup también redujo la latencia en el front-end de la aplicación, lo cual es fundamental a la hora de mostrar la aplicación a nuevos clientes. Los clientes pueden ver, filtrar y visualizar las métricas de descarbonización de edificios en ubicaciones geográficas específicas más rápido que antes. Con el modelo anterior, la aplicación de BlocMaps podía tardar entre 20 y 30 segundos en cargar los perfiles de edificios para sus clientes. Ahora, la aplicación ofrece esta información en menos de 5 segundos, una mejora que trajo como resultado comentarios positivos de los clientes. “El rendimiento de nuestras aplicaciones de BlocMaps es una de nuestras principales prioridades desde el punto de vista de la recaudación”, afirmó Garg. “El buen boca en boca nos ayuda a entrar en nuevos mercados y nuevas ciudades”.

BlocPower no solo aumentó las oportunidades de recaudación, sino que la startup también optimizó los costos de computación. Luego de adoptar Amazon Redshift sin servidor, BlocPower ya no paga por el tiempo de inactividad de sus clústeres. “El modelo sin servidor es perfecto para nosotros”, afirmó Davis. “Pagamos menos por nuestros procesos y obtenemos más recursos de computación cuando los necesitamos. En general, ha sido una experiencia muy positiva”.

BlocPower continuará investigando las soluciones sin servidor de AWS para mejorar el rendimiento de sus productos. Según su experiencia con este proyecto, la empresa también planea migrar los datos de Internet de las cosas que recopila a Amazon Redshift sin servidor. “La cantidad de tiempo que nos habría llevado ofrecer información a partir de datos sin procesar habría sido inimaginable si hubiéramos intentado configurar nuestra infraestructura local”, afirmó Garg. “Trabajar en AWS es realmente ventajoso para nosotros. La cantidad de tiempo y dinero que ahorramos nos ayuda a ofrecer información energética a otros hogares de ingresos bajos y moderados”.