Dropbox ahorra millones al crear un sistema de almacenamiento de metadatos escalable en Amazon DynamoDB y Amazon S3

Dropbox, fundada en 2007 por dos estudiantes del Massachusetts Institute of Technology, es una herramienta de colaboración global y un servicio para compartir archivos. Se ha convertido en una de las startups más exitosas del mundo, con más de 600 millones de usuarios que han subido más de 400 000 millones de piezas de contenido.

Los sistemas de almacenamiento de metadatos de Dropbox inicialmente se alojaban solo en el sistema de almacenamiento de datos principal de la empresa, Edgestore, alojado en una base de datos distribuida local creada sobre clústeres MySQL fragmentados. A mediados de 2018, el rápido crecimiento de los metadatos inactivos (datos a los que se accede con poca frecuencia pero que deben almacenarse de forma duradera y estar disponibles al instante) estaba a menos de 2 años de colapsar Edgestore. Sin embargo, aumentar la capacidad de la base de datos local requeriría dividir las particiones existentes y comprar nuevas máquinas para alojarlas, lo que duplicaría el costo de Edgestore al agregar millones de dólares al año. Además, ya no tenía sentido almacenar los metadatos inutilizados en la misma base de datos que los metadatos calientes (o de uso frecuente). “Si se escriben datos que no están pensados para leerse con frecuencia, es muy caro utilizarlos (sin mencionar que es inútil guardarlos) en medios optimizados para la velocidad de recuperación”, afirma Jonathan Lee, líder técnico del equipo de Alki de Dropbox.

En consecuencia, dos empleados se separaron del equipo de bases de datos para crear Alki, la solución que almacenaría metadatos de forma rentable. Ellos se centraron especialmente en el principal caso de uso de metadatos fríos de Edgestore del registro de auditorías. Dado que el pequeño equipo de Alki se enfrentaba a un plazo muy ajustado que, de no cumplirse, podría provocar la pérdida de metadatos de los usuarios, decidió implementar los servicios gestionados de AWS. Con Amazon DynamoDB y Amazon S3, Dropbox creó rápidamente un prototipo e implementó un sistema de almacenamiento de metadatos fríos en AWS en tan solo un año. AWS Solutions Architects funcionó como una extensión del equipo de Alki de Dropbox y proporcionó recomendaciones y ayuda para la implementación.

“Al crear un sistema de almacenamiento, hay que tener en cuenta muchos componentes, como la replicación, las copias de seguridad y la gestión de la capacidad. Amazon DynamoDB y Amazon S3 se ajustan bien a esa necesidad: son normas del sector”, afirma Lee. “Estos son problemas que los equipos grandes tardan varios años en resolver. Sin embargo, al utilizar Amazon DynamoDB y Amazon S3, simplificamos estos problemas porque AWS se encarga de muchas de las tareas complejas, como la replicación de datos, la gestión de la durabilidad de los datos y el suministro de hardware. Tanto Amazon DynamoDB, como Amazon S3, crecen automáticamente en función de nuestras necesidades de capacidad. Ya no necesitamos planificar la capacidad local ni el presupuesto para las compras de hardware y luego estancarnos con nuestras decisiones durante 4 años”.

El equipo de Alki, con la ayuda de AWS Solutions Architects, creó un sistema de almacenamiento de metadatos basado en un árbol de fusiones con estructura logarítmica (árbol LSM), que tiene dos capas de almacenamiento de datos: una capa superior para los metadatos activos y una capa inferior para los metadatos fríos. Amazon DynamoDB actúa como capa de almacenamiento activo y toma los datos del registro de auditoría en seis tablas de DynamoDB a una velocidad de entre 4000 y 6000 escrituras por segundo por tabla. Luego, cada una de estas tablas almacena entre 50 y 80 GB por día. Al final de cada día, el equipo descarga los metadatos de estas tablas en Amazon S3 para su almacenamiento permanente, después de lo cual se eliminan las tablas de Amazon DynamoDB.

A principios de 2019, menos de seis meses después de que el equipo de Alki eligiera Amazon DynamoDB y Amazon S3, Alki se encontraba en su fase beta de producción, ya que recopilaba todos los datos y proporcionaba un subconjunto de las lecturas. Para octubre de 2019, ya se habían migrado unos 300 TB de datos de registros de auditoría (lo que representa una cuarta parte de todos los datos almacenados en Edgestore) a Alki, que ya estaba en plena producción.

La escalabilidad de Amazon DynamoDB y Amazon S3 ayudó al equipo de Dropbox a completar la migración de datos en menos de 2 semanas. “Normalmente, se puede diseñar un sistema con una escala 10 veces superior a la que cabría esperar en estado estable”, explica Lee. “Sin embargo, podríamos escalar entre 100 y 1000 veces en AWS sin diseñar el sistema con antelación”. El equipo de Alki esperaba que el estado estable fuera de 4000 consultas por segundo, pero pudo suministrar Amazon DynamoDB para 600 000 consultas por segundo durante la migración.

Según Lee, los arquitectos de soluciones de AWS brindaron un soporte de primer nivel al equipo de Alki durante toda la migración. “Solo podemos decir cosas positivas sobre nuestra interacción con el equipo de AWS que trabaja en Alki. Siempre ha sido muy proactivo a la hora de ayudarnos a encontrar problemas, señalarnos cómo podemos acelerar las cosas o identificar las áreas en las que deberíamos tener más cuidado desde el punto de vista operativo”, afirma Lee. El equipo de Alki y los arquitectos de soluciones de AWS pudieron mantener una comunicación constante a través de canales en tiempo real. Y el equipo de Alki seguirá cosechando los beneficios de esa colaboración a través de los servicios gestionados de AWS. “Ejecutar un sistema de forma duradera requiere experiencia, y nosotros no teníamos esa experiencia”, afirma Stas Ilinskiy, ingeniero de software del equipo de Alki. “Sin embargo, al usar Amazon DynamoDB, también contamos con las personas con la experiencia necesaria para ejecutarlo”.

Con Amazon DynamoDB y Amazon S3, Alki le ahorró millones de dólares a Dropbox en costos de expansión y redujo considerablemente los costos en gigabytes por usuario. La tienda Edgestore de Dropbox les costaría a los usuarios 5,5 veces más que a Alki por gigabyte de usuario al año.