Dropbox économise des millions en créant un magasin de métadonnées pouvant être mis à l'échelle sur Amazon DynamoDB et Amazon S3

Fondé en 2007 par deux étudiants du MIT (Massachusetts Institute of Technology), Dropbox est un outil mondial de collaboration et un service de partage de fichiers. L'entreprise Dropbox est devenue l'une des startups les plus prospères au monde, comptant plus de 600 millions d'utilisateurs qui chargent plus de 400 milliards de contenus.

À l'origine, les magasins de métadonnées de Dropbox étaient hébergés uniquement dans le magasin de données principal de l'entreprise, Edgestore, qui était lui-même hébergé dans une base de données distribuée sur site créée sur des clusters MySQL partitionnés. Au milieu de l'année 2018, les métadonnées froides en pleine croissance, qui sont des données rarement consultées, mais qui doivent être stockées de manière durable et disponibles instantanément, allaient submerger Edgestore en moins de deux ans. Toutefois, pour accroître la capacité de la base de données sur site, il aurait fallu répartir les partitions existantes et acheter de nouvelles machines pour les héberger, ce qui aurait coûté des millions de dollars par an et donc doublé le coût d'Edgestore. De plus, il n'était plus logique de stocker les métadonnées froides dans la même base de données que les métadonnées chaudes (fréquemment utilisées). « Si vous écrivez des données qui ne sont pas destinées à être lues souvent, leur utilisation sur des supports optimisés en matière de vitesse de récupération est extrêmement coûteuse, sans parler de leur stockage qui est inutile », explique Jonathan Lee, responsable technique de l'équipe responsable d'Alki de Dropbox.

En conséquence, deux employés ont quitté l'équipe responsable des bases de données pour créer Alki, la solution de stockage rentable des métadonnées. Ces derniers se sont particulièrement concentrés sur les données de journalisation d'audit, soit le principal cas d'utilisation des métadonnées froides d'Edgestore. Étant confrontée à un délai serré qui, s'il n'était pas respecté, pourrait entraîner la perte des métadonnées utilisateur, la petite équipe responsable d'Alki a décidé de mettre en œuvre les services gérés d'AWS. Grâce à Amazon DynamoDB et Amazon S3, Dropbox a rapidement prototypé et déployé un magasin de métadonnées froides sur AWS, en un an seulement. Les architectes de solutions AWS ont appuyé l'équipe responsable d'Alki de Dropbox, en lui fournissant des recommandations et en l'aidant dans le processus de mise en œuvre.

« Lorsque vous créez un système de stockage, vous devez réfléchir à de nombreux aspects, notamment la réplication, les sauvegardes et la gestion des capacités. Amazon DynamoDB et Amazon S3 répondent parfaitement à ce besoin ; ce sont des normes du secteur », déclare Lee. « La résolution de ces problèmes se fait sur plusieurs années. Mais Amazon DynamoDB et Amazon S3 simplifient ces problèmes, car AWS gère de nombreuses tâches complexes, telles que la réplication des données, la gestion de la durabilité des données et le provisionnement du matériel. Amazon DynamoDB et Amazon S3 évoluent automatiquement selon nos besoins en matière de capacité. Nous n'avons plus besoin de planifier la capacité sur site et de budgétiser les achats de matériel, et nous ne sommes plus contraints de subir nos décisions pendant quatre ans. »

L'équipe responsable d'Alki, aidée par les architectes de solutions AWS, a créé un système de stockage de métadonnées basé sur un arbre de fusion structurée en journaux (arbre LSM), qui comporte deux couches de stockage de données : une couche supérieure pour les métadonnées chaudes et une couche inférieure pour les métadonnées froides. Amazon DynamoDB agit en tant que couche de stockage à chaud en ingérant les données de journalisation d'audit dans six tables DynamoDB à raison de 4 000 à 6 000 écritures par seconde et par table. Chacune de ces tables stocke 50 à 80 Go par jour. À la fin de chaque journée, l'équipe décharge les métadonnées de ces tables vers Amazon S3 aux fins d'un stockage permanent, et les tables dans Amazon DynamoDB sont ensuite supprimées.

Au début de l'année 2019, moins de six mois après que l'équipe responsable d'Alki avait porté son choix sur Amazon DynamoDB et Amazon S3, Alki en était à la phase bêta de production, ingérant toutes les données et desservant un sous-ensemble des lectures. En octobre 2019, environ 300 To de données des journaux d'audit, soit un quart de l'ensemble des données stockées dans EdgeStore, avaient été migrés vers Alki, qui était désormais en pleine production.

La capacité de mise à l'échelle d'Amazon DynamoDB et d'Amazon S3 a permis à l'équipe de Dropbox de migrer ces données en moins de deux semaines. « Normalement, vous pouvez concevoir un système selon une échelle 10 fois supérieure à celle à laquelle vous vous attendriez pour une utilisation permanente », explique Lee. « Mais nous avons pu effectuer une mise à l'échelle de 100 à 1 000 fois supérieure sur AWS sans concevoir le système à l'avance. » L'équipe responsable d'Alki attendait une utilisation permanente de 4 000 requêtes par seconde, mais elle a pu provisionner Amazon DynamoDB pour gérer 600 000 requêtes par seconde lors de la migration.

Les architectes de solutions AWS ont été d'une grande aide à l'équipe responsable d'Alki tout au long de la migration, selon Lee. « Nous n'avons que des choses positives à dire à propos de notre interaction avec l'équipe AWS qui travaille sur Alki. Cette dernière a toujours été très proactive en nous aidant à détecter les problèmes, en nous indiquant comment accélérer le processus, ou en identifiant les domaines pour lesquels nous devions être plus prudents sur le plan opérationnel », explique Lee. L'équipe responsable d'Alki et les architectes de solutions AWS ont pu rester en communication constante via des canaux en temps réel. L'équipe responsable d'Alki continuera de récolter les fruits de cette collaboration grâce aux services gérés d'AWS. « L'exécution durable d'un système requiert de l'expertise. Nous n'en avions pas », explique Stas Ilinskiy, software engineer au sein de l'équipe responsable d'Alki. « Mais le fait d'utiliser Amazon DynamoDB nous a également permis de nous doter de personnes disposant de cette expertise. »

Alki a permis à Dropbox d'économiser des millions de dollars en coûts de développement et de réduire considérablement les coûts d'utilisation de gigaoctets par utilisateur grâce à Amazon DynamoDB et Amazon S3. Le système Edgestore de Dropbox coûterait aux utilisateurs 5,5 fois plus qu'Alki, en ce qui concerne l'utilisation de gigaoctets par utilisateur et par an.