Ogury y el desafío de satisfacer las necesidades crecientes de análisis a la vez que se optimizan los costos

Para superar el desafío que supone analizar más datos sin aumentar los costos de infraestructura, Ogury utilizó instancias EC2 de spot que permitieron reducir los costos de clústeres de EMR de big data en un 57 %.

El equipo quería escalar su infraestructura para que fuera a la par que el rápido desarrollo que experimentaba la empresa, a la vez que se controlaban los costos y se liberaban de la administración de infraestructuras básicas.

Cuando el escalado y la optimización de costos van de la mano

Ogury analiza decenas de terabytes a diario, procedentes de 400 millones de perfiles de todo el mundo que han consentido compartir sus datos. Dichos perfiles se filtran, normalizan y analizan en un datalake. Las lecciones que se han aprendido de estos análisis permiten la activación publicitaria. Ogury, al enfrentarse a la necesidad de optimizar el costo que supone ejecutar estas acciones y escalar, recurrió a AWS. Allá por el verano de 2015, Ogury había completado la migración a AWS.

Con AWS, todo está listo y dispuesto. Por ejemplo, enseguida comenzamos a utilizar Amazon EMR . Estábamos empezando a analizar un gran volumen de datos, y necesitábamos este servicio para evitar tener que administrar nosotros mismos clústeres de big data y así ahorrar tiempo”, explica Olivier Bazoud.
Al cambiar a AWS, Ogury quería hacer mucho más en términos de velocidad y volumen, sin que los gastos aumentasen de manera proporcional. Un trabajo enorme de optimización de los servicios utilizados les permitió lograr este objetivo.

Analizar más datos, sin aumentar los costos de infraestructura

Amazon EMR permite a Ogury analizar datos siguiendo antes una serie de pasos: limpiar los datos, eliminar duplicados, normalizar los datos e incorporarlos. A continuación, Ogury utiliza machine learning o estadísticas para deducir información de nivel superior, como grupos de edad, lo cual ayudará con el público objetivo de las campañas.

Todos los datos, muchos petabytes, se almacenan en Amazon S3 en un servicio administrado, que brinda a Ogury un servicio fiable y facilidad de uso, puesto que Amazon EMR realiza la lectura directamente desde este espacio de almacenamiento. Los productos se instalan en instancias de Amazon EC2 , en microservicios o procesos administrativos. “El uso de instancias de spot de Amazon EC2 nos ha permitido lograr un gran ahorro: ¡hemos reducido los costos de nuestros clústeres de EMR de big data en un 57 %!”, afirma Olivier Bazoud.

Ogury recopila y analiza los datos del recorrido del cliente de sus usuarios mediante la combinación con bases de datos NoSQL de Amazon DynamoDB para el consentimiento. “Lo utilizamos como una base de datos administrada, lo cual nos ahorra tiempo”, explica Olivier Bazoud. Podemos centrarnos en ayudar a los desarrolladores, sin tener que optimizar la base de datos. Al ir a la par que el tráfico, es posible escalar para mantener la carga”.

Amazon Redshift es el almacén de datos de Ogury, y permite la consulta de estos datos, la realización de estudios o la identificación del objetivo de campañas para ciertos usuarios (que aparecen como anónimos).

Por último, Ogury archiva sus datos en Amazon S3 Glacier y utiliza las instancias reservadas de Amazon EC2 para, una vez más, reducir costos. “Hemos trabajado mucho también junto a AWS para optimizar los costos en Amazon CloudFront . Los datos que analizamos utilizan mucho ancho de banda para llegar a nosotros, y eso tiene un costo notable en el proceso”.

Capacidad de respuesta y mejora del plazo de comercialización

“AWS nos ha brindado soporte para escalar. Hubiera sido difícil hacerlo sin ellos y aún más complicado hacerlo nosotros mismos en las instalaciones, por ejemplo. No hubiéramos logrado la misma velocidad de implementación. Sin embargo, el desarrollo de la compañía se produjo con mucha rapidez, teníamos que adaptarnos a la infraestructura. Solo podíamos hacerlo con AWS”, afirma Olivier Bazoud.

Ogury también está mejorando su plazo de comercialización. Alrededor de cien empleados trabajan en investigación y desarrollo, con un producto cuyo corazón es la tecnología. “Utilizar AWS nos ha permitido ir más rápido que la competencia. Es una mejora continua, somos muy ágiles. El equipo de desarrollo publica nuevas funciones cada dos semanas aproximadamente. ” Para Olivier Bazoud, Ogury necesita la capacidad de respuesta de los servicios de AWS.

Mantener los objetivos de crecimiento gracias a una infraestructura sólida
“Para mantener esta infraestructura en cuatro regiones, con un volumen enorme de tráfico, contamos con un equipo bastante pequeño. Damos soporte al crecimiento y escalado de Ogury, y eso es lo que nos permite hacer AWS con confianza. En ningún momento la infraestructura ha frenado el crecimiento de la empresa. Ha dejado de ser un obstáculo para el desarrollo de una compañía como ocurría con modelos previos, o antes de contar con la nube y que la implementación fuera cosa de meses. Si Ogury cuenta con la escala y el crecimiento actual, es porque la infraestructura ha permitido este crecimiento exponencial”.