Mercado Libre、5,000 のデータベースを Amazon DynamoDB に移行してビジネスを拡大し、信頼性を高める

1999 年にアルゼンチンで創業した Mercado Libre は、E コマースとフィンテックの 2 つの事業を柱としています。これらの分野で、同社は、オンラインのマーケットプレイス、デジタル決済システム、広告、物流、クレジットオファリングを含む数多くのサービスを提供しています。同社の根底にある目的は、商取引、支払い、貨幣を民主化し、ラテンアメリカに住む数百万の人々の生活を改善することにあります。

Mercado Libre では、以前は仮想プライベートクラウドにソリューションを構築し、社内のチームが自社のインフラストラクチャ、アプリケーション、メンテナンスの対応にあたっていました。例えば、どのタイプのデータベースを使用するかといった判断は、個々のチームが行っていました。当初はこの方法が急速な成長のカギでしたが、チームの数が増えトラフィックが増えるにつれ、テクノロジースタックの種類が増えて、成長を維持することが困難になっていきました。同社は、自社チームのために、専用のソフトウェア開発キットとカスタム API を含む新しいソリューションを構築しました。NoSQL データベースでは、ソリューションへのダイレクトアクセスを提供する代わりに、すべてのチームが考えを共有できるよう、抽象化レイヤーを構築しました。Mercado Libre は当初、セルフマネージドのオープンソースデータベースエンジンの上に、キーバリュー型のメインデータベース抽象化を構築し、ソリューションは 5,000 のデータベースにまで増加しました。

しかし時間が経つにつれ、選択したエンジンから、必要な機能のすべてを手に入れられるわけではないことに気付きました。また、30 を超えるクラスターを管理するには頻繁なメンテナンスが必要で、それが中断、エラー、ダウンタイムの原因となっていました。2019 年初頭、Mercado Libre は Amazon DynamoDB への移行を開始しました。「Amazon DynamoDB の信頼性があれば、ダウンタイムのコストを回避できます」と話すのは、Mercado Libre の IT 担当ディレクター兼コアサービス、サイト信頼性エンジニアリング、データベース管理担当部長の Oscar Mullin 氏です。共通の抽象化をうまく活用することで、同社は、従業員に 1 行たりともコード変更を要求することなく、また、ビジネスのロードマップを変えることなく、5,000 のデータベースを移行させました。

Mercado Libre は、Amazon DynamoDB と併せて、同社でミッションクリティカルなアプリケーションやビジネスクリティカルなアプリケーションを実行する際に、使用中の他の AWS サービスを活用しました。例えば、セキュアでサイズ変更可能なクラウドのコンピューティング能力を提供するウェブサービスの Amazon Elastic Compute Cloud (Amazon EC2) や、業界トップのスケーラビリティ、データ可用性、セキュリティ、パフォーマンスを提供するオブジェクトストレージサービスの Amazon Simple Storage Service (Amazon S3) などです。

AWS ソリューションのそれぞれの機能を組み合わせることで、Mercado Libre は、パフォーマンスに影響を与えることなくあらゆるスケーリングニーズに対処することができました。以前は、スケーリングイベントの準備に休日など多大な時間を費やし、また、スケーリングは複雑化していました。COVID-19 のパンデミックといった、予想もしていなかった出来事が発生した結果、E コマースや電子決済の利用者が増え、Mercado Libre のトラフィックは大幅に増加することとなりました。同社のミッションであるインクルージョンの一環として、Mercado Libre では、AWS を利用してより多くのスモールビジネス向けにサービスを拡大することを目指しました。「当社のコアアプリケーションで、Amazon DynamoDB をベースとした抽象化を使用することは、きわめて重要でした。他の方法では、可用性のレベルを維持しながらトラフィックの増加に対処することは、とても複雑な作業になったでしょう」と、Mullin 氏は言います。 Amazon DynamoDB のオートスケーリング機能も、同社がダウンスケールを必要とするときに未使用の容量を防ぎ、無駄をなくし、コストを削減するなどして、非常に役立ちました。Mullin 氏は、「以前のソリューションとは異なり、Amazon DynamoDB でのダウンスケーリングはきわめてシンプルです」と語ります。

Amazon DynamoDB がサポートしているマルチ AWS リージョンのアーキテクチャも、Mercado Libre における可用性の問題を解消しました。個別のテーブルにあるデータを転送する代わりに、同社は Amazon DynamoDB グローバルテーブルを使用しています。これは、マルチリージョンのフォールトトレランスを達成するために、会社が選択したリージョン間でテーブルを自動的に複製するものです。この、フルマネージド、マルチリージョン、マルチアクティブなデータベースを使用することにより、世界各地に点在する数百万の顧客に、高速での読み取り/書き込みパフォーマンスを提供することができます。「当社は、1 回のクリックでマルチリージョン化できる機能を備えています。そして、過去のデータはすべて、自動的に他のリージョンに移行させています」と、Mullin 氏は言います。 1 つのテーブルに施した変更は他のリージョンにシームレスに反映されるので、時間を節約できます。ユーザーは、現在の居場所に関係なく、短い待機時間でデータにアクセスすることが可能です。実際、API と Amazon DynamoDB の読み取りにおける合計レイテンシーの 99 パーセンタイルは、読み取りリクエストに対してわずか 6 ミリ秒です。リクエストが毎分 3 億件のペースに達した場合でも、レイテンシーは影響を受けません。その上、Mercado Libre では、Amazon DynamoDB がポイントインタイムリカバリで自動バックアップを継続的に行うため、複雑なプロセスを用いて日々のバックアップを取得する必要がなくなりました。

Mercado Libre のサービスへのアプローチには、デベロッパーに可能な限りシンプルな透明性のある統合を提供する、相互に関連したサービスを構築することが含まれています。この統合をキーバリューストアを用いて実現するために Mercado Libre が選んだのが、Amazon DynamoDB テーブルにおけるアイテムレベルの変更を時系列で取得し、その情報をログに 24 時間保存する Amazon DynamoDB Streams です。また、DynamoDB Streams は、Amazon DynamoDB と連携して無関係な情報をテーブルから自動的に削除します。すべて、追加費用はかかりません。Mercado Libre は、Amazon DynamoDB を使用することで、Time to Live の有効期限を使ってこれらの期限切れのアイテムを削除できます。これにより、不要なまたは無関係なアイテムを、書き込みスループットを消費することなく、バックグラウンドから削除できます。そして、DynamoDB Streams を使用することにより、これらの削除をキャプチャし、データの有効期限が切れた時点でバックアップやその他処理を行うことができます。「DynamoDB Streams は強力な機能です。「その自動化された機能を使うことで、複雑でエラーを招きやすい多数のタスクを自ら行う必要がなくなりました」

Mercado Libre では当初、Amazon DynamoDB を、オペレーション上の負荷を軽減し大規模なスケールをサポートする手段として選択していましたが、デベロッパーは引き続き新しい機能を活用しており、会社のイノベーション能力とラテンアメリカにおける継続的な成長を後押ししています。Mullin 氏は言います。「これまでのセットアップに代わる方法を検討し、何が必要かを考えたとき、当社にとっては Amazon DynamoDB が圧倒的に有利だったのです。そして、セカンダリインデックスのような新しい抽象化やセキュリティ機能を構築することで、当社は今もそこから多くの価値を得ています」。