Dropbox が Amazon DynamoDB と Amazon S3 を使用してスケーラブルなメタデータストアを構築することで数百万 USD のコストを削減

マサチューセッツ工科大学の 2 人の学生によって 2007 年に設立された Dropbox は、グローバルなコラボレーションツールおよびファイル共有サービスです。6 億人以上のユーザーが 4,000 億件以上のコンテンツをアップロードし、世界で最も成功したスタートアップの 1 つになりました。

Dropbox のメタデータストアは当初、同社のメインデータストアである Edgestore 内にのみ格納されていました。Edgestore は、シャーディングされた MySQL クラスター上に構築されたオンプレミスの分散データベースでホストされていました。2018 年半ばまでに、コールドメタデータ (アクセス頻度は低いが、永続的に保存して即座に利用できるようにする必要があるデータ) は、2 年以内に Edgestore を圧倒する勢いで増えていきました。しかし、オンプレミスデータベースの容量を増やすには、既存のパーティションを分割し、それらをホストする新しいマシンを購入する必要がありました。これにより、Edgestore のコストが 2 倍になり、年間数百万 USD も増加することになります。さらに、コールドメタデータをホットメタデータ、または頻繁に使用するメタデータと同じデータベースに保存することは、もはや意味がありませんでした。Dropbox の Alki チームの技術責任者である Jonathan Lee 氏は、「頻繁に読むことを想定していないデータを書き込んでいると、検索速度が最適化された媒体で使用するのは非常に高価であり、保存しても意味がないことは言うまでもありません」と述べています。

その結果、2 人の従業員がデータベースチームから離れ、メタデータを費用対効果の高い方法で保存するソリューションである Alki を構築しました。特に、Edgestore のコールドメタデータのトップユースケースである監査ログデータに焦点を当てました。小規模な Alki チームは厳しい締切りに直面しており、期日を逃すとユーザーメタデータが失われる可能性があったため、AWS のマネージドサービスを実装することにしました。Amazon DynamoDB と Amazon S3 を使用して、Dropbox はわずか 1 年以内にコールドメタデータストアのプロトタイプを作成し、AWS にデプロイしました。AWS ソリューションアーキテクトは Dropbox の Alki チームの一員のように機能し、規範的なガイダンスと実装支援を提供してくれました。

「ストレージシステムを構築する際には、レプリケーション、バックアップ、容量管理など、多くのコンポーネントについて考える必要があります。業界標準の Amazon DynamoDB と Amazon S3 はそのニーズにぴったり合っていました」と Lee 氏は言います。「これらは大人数のチームでも解決するのに数年かかる問題です。しかし、Amazon DynamoDB と Amazon S3 を使用することで、これらの問題を単純化できます。データレプリケーション、データ耐久性管理、ハードウェアプロビジョニングなどの複雑なタスクの多くは AWS が処理してくれるからです。Amazon DynamoDB と Amazon S3 はどちらも、容量のニーズに応じて自動的に拡張されます。オンプレミスの容量とハードウェア購入の予算を計画して、4 年間その決定に縛られる必要はもうありません」。

Alki チームは AWS ソリューションアーキテクトの支援を受けて、ログ構造のマージツリー (LSM ツリー) ベースのメタデータストレージシステムを構築しました。このシステムには 2 層のデータストレージがあり、上層はホットメタデータ用、下層はコールドメタデータ用です。Amazon DynamoDB はホットストレージレイヤーとして機能し、監査ログデータを 6 つの DynamoDB テーブルに取り込み、テーブル毎に 1 秒あたり 4,000～6,000 回の書き込みを行います。その後、これらの各テーブルには 1 日あたり 50～80 GB が保存されます。1 日の終わりに、チームはメタデータをこれらのテーブルから Amazon S3 にオフロードして永続的に保存し、その後 Amazon DynamoDB のテーブルは削除されます。

2019 年の初め、Alki チームが Amazon DynamoDB と Amazon S3 を選択してから 6 か月も経たないうちに、Alki は本番環境のベータ段階に入り、すべてのデータを取り込み、一部の読み取りを処理していました。2019 年 10 月までに、約 300 TB の監査ログデータ (Edgestore に保存されている全データのうち 4 分の 1 に相当) が Alki に移行され、フル稼働になりました。

Amazon DynamoDB と Amazon S3 のスケーラビリティにより、Dropbox チームはそのデータ移行を 2 週間足らずで完了することができました。「通常なら、定常状態で予想されるスケールの 10 倍のシステムを設計するかもしれません」と Lee 氏は説明します。「しかし、事前にシステムを設計しなくても、AWS で 100～1,000 倍にスケーリングできました」。 Alki チームは、定常状態が 1 秒あたり 4,000 クエリになると予想していましたが、移行中に 1 秒あたり 600,000 クエリの Amazon DynamoDB をプロビジョニングできました。

Lee 氏によると、AWS ソリューションアーキテクトは移行期間中 Alki チームにプレミアムサポートを提供してくれたそうです。「Alki に取り組んでいる AWS チームとのやりとりについては、ポジティブなことしか浮かびません。問題を発見したり、作業速度をを上げる方法を示したり、運用上もっと注意すべき点を特定したりと、常に積極的に支援してくれました」と Lee 氏は言います。Alki チームと AWS ソリューションアーキテクトは、リアルタイムのチャネルを通じて常にコミュニケーションをとることができました。そして、Alki チームは AWS のマネージドサービスを通じて、今後もそのコラボレーションのメリットを享受していきます。「システムを永続的に運用するには専門知識が必要ですが、私たちにはその専門知識がありませんでした」と、Alki チームのソフトウェアエンジニアである Stas Ilinskiy 氏は言います。「しかし、Amazon DynamoDB を使用することで、それを運用する専門知識を持つ人材も確保できます」。

Alki は Amazon DynamoDB と Amazon S3 を使用することで、Dropbox の拡張コストを数百万 USD 節約し、ユーザーあたりのギガバイト単位のコストを大幅に削減しました。Dropbox の Edgestore では、ユーザー毎の年間ギガバイトあたりのコストが Alki の 5.5 倍になります。