Amazon Web Services ブログ

NTTドコモにおけるレシート OCR サーバーレスシステムの多重処理流量制御

はじめに

NTTドコモは「つなごう。驚きを。幸せを。」をブランドスローガンとして掲げ、コンシューマ通信事業をはじめ金融・決済、マーケティングソリューション、スマートライフ領域など多岐にわたる事業を展開しています。

本記事では、その中からマーケティングソリューションの1つであり、dポイント経済圏や販促ソリューションを支える「レシートでためる」サービスでの取り組みをご紹介します。

サービス・システム紹介

サービス紹介

「レシートでためる」は、ユーザーが店舗で商品を購入し、レシートと商品バーコードを登録することで、購買判定・不正審査を経て d ポイントを受け取れるサービスです。決済手段や購入店舗に制限されにくく、普段の買い物の延長で参加できる点が特徴で、レシート掲載面には月間約 150 万 UU の訪問があります。

対象商品を購入するキャンペーン型の施策に加え、どんなレシートでも登録できる「毎日レシート」も提供しているため、システムには 24 時間 365 日、継続的にレシート画像が送信され続けます。送信された画像は OCR による情報取得、購買判定、不正審査を経てポイント進呈へとつながります。この処理の中核を担うのが、本記事で取り扱う「 AI-OCR 解析システム」です。

システム概要

「AI-OCR 解析システム」は AWS マネージドサービスを用いたフルサーバーレスアーキテクチャで構成されています。利用者から送信される大量のレシート画像を 24 時間 365 日継続的に解析し、ポイント付与判定を実施しています。

サーバーレスの大きな魅力は高いスケーラビリティですが、一方で接続先の外部サービスや他システムへの負荷をかけすぎないように配慮することも重要です。

本記事では2つのトピックに分けて、Amazon SQS / AWS Lambda / AWS Step Functionsを組み合わせた多重処理基盤における取り組みを紹介します。

Lambdaの同時実行数制御を活用した対向システムへのアクセス量を制御するアーキテクチャ

対象システムでは、ユーザから送られてくるレシート画像を非同期で処理しています。処理の規模は、処理画像件数が10,000,000件/月、ピーク時負荷が数百 RPS となります。各ジョブは複数の処理ステップからなるため、ワークフロー部分は Step Functions で実装し、ジョブの受付には SQS を利用しています。

ここで重要な制約条件が2つありました。

  1. 外部 API サービス向けに許容される同時リクエスト数の上限が 50RPS であること
  2. 連携する他システムのリクエスト数が 300RPS を超えると接続エラーや性能劣化が発生する

つまり、ジョブがどれだけ積まれても同時に実行してよいジョブ数には明確な上限があるという前提でアーキテクチャを設計する必要がありました。

私たちは多重並列処理基盤をサーバーレスで実現するにあたって、当初は以下のような処理フローを描いていました。しかし、本アーキテクチャは簡単にスケーリングできる一方で、対向システムが耐えられる負荷の上限を簡単に超えてしまうため、流量をコントロールしなければいけない課題がありました。

このアーキテクチャでは SQS キューにメッセージが大量に積まれると、Lambda は SQS イベントソースマッピングによって自動的にスケールし、それに伴い Step Functions の同時実行数も大きく増加します。結果として、対向の外部サービス等のリクエストが集中し、スロットリングや接続枯渇を引き起こしてしまいます。そのため、「高いスケーラビリティを持つ側」と「受け入れられるリクエスト上限のある側(外部サービス・他システム)」の間に、流量を制御する仕組みを入れる必要がありました。

これらの課題に対し流量制御の実現方式として SQS, Lambda, Step Functions を組み合わせた同時実行数制御を採用しました。この方式ではイベントソースマッピングの同時実行数制御を扱うことに加えて Step Functions 標準ワークフローの処理が完了するまで Lambda 関数を起動させたまま待機させることで、処理全体の同時実行数を制御可能となっています。ポイントはジョブ管理 Lambda 関数の実行数が制御できるため、同時に走るStep Functions ワークフローの数がコントロール可能となり、対向システムへのアクセス数が制御できることです。ジョブ管理 Lambda 関数が Step Functions ワークフローの完了を待ち合わせる(1つの Lambda 実行が1つのジョブに最初から最後まで付き添う)設計にすることで、イベントソースマッピングにおける最大同時実行数という単一の設定値が、そのままシステム全体の多重度の上限になります。マネージドサービスの機能を活用できるため実装コストが最小で、同時実行数の制御がAWSの設定で管理でき、多重度の変更が設定値1つで完結できるため外部サービス側の上限が緩和された時にも即応可能、という点が決め手でした。

アーキテクチャ

処理の流れは以下のとおりです。

  1. ジョブ要求が SQS キューに投入される
  2. SQS イベントソースマッピングによりジョブ管理 Lambda 関数が起動する
  3. ジョブ管理 Lambda 関数が Step Functions 標準ワークフローを起動し、完了まで待ち合わせる
  4. ワークフロー内の各処理 Lambda 関数が外部サービス/他システムにアクセスする
  5. ワークフロー完了後、ジョブ管理 Lambda 関数が終了し、SQS メッセージが削除される
  6. 次のメッセージを処理するジョブ管理 Lambda 関数が起動する

ジョブ管理 Lambda 関数の同時実行数が N に達すると、それ以降の SQS メッセージ処理は実施されず、メッセージはキューに留まります。その後、処理が完了すると新たなジョブ管理 Lambda 関数の起動が可能となり、後続の SQS メッセージ処理を継続します。補足として、Lambda イベントソースマッピングは少なくとも一回それぞれのイベントを処理するため、同じジョブを複数回処理する可能性がありますが、私たちのシステムでは重複処理されても問題ないようにシステム全体を設計しています。

Step Functionsの待ち合わせにかかるコストの最適化

流量制御を行うアーキテクチャを導入した後に、運用を続ける中で新たな課題が見えてきました。それはジョブ管理 Lambda 関数が Step Functions の完了の待機時間にも課金され続けていることです。私たちの Step Functions は平均して 2-3分の実行時間となっていますが、実測したところジョブ管理 Lambda の課金時間のうち95%以上が待機時間でした。ここからはジョブ管理 Lambda 関数のコスト最適化として、(1) Durable Functions を活用した Lambda 関数コストの最適化、(2) Step Functions の Map ステートを使った並列実行によるジョブ管理 Lambda 関数の集約、という2つのアプローチをご紹介します。

Durable Functions による待ち時間コストの最適化

従来のジョブ管理 Lambda 関数は Step Functions 標準ワークフローの完了を確認するために実行状況をポーリングし続けており、この間ずっと実行時間として課金されていました。ある月のジョブ管理 Lambda 関数の実行時間は合計95,000時間でしたが、その内の93,000時間は待ち時間となっていました。

ジョブ管理 Lambda 関数の待機中の課金を最適化する方法として、AWS Lambda Durable Functions を採用しました。Durable Functions はマルチステップの処理フローを Lambda で実現できる機能です。これにより処理の待機中は関数の実行を中断し、Step Functions の処理が完了したタイミングで関数を再開するという動きが可能になります。中断中はコンピューティング時間としての課金が発生しません。

なお、今回のようにイベントソースマッピングで最大同時実行数制御を実施している場合にも Durable Functions 全体が終了しない限りはイベントソースマッピングの同時実行の一つとして消費され続けるため、流量制御は引き続き担保できます。注意点としてイベントソースマッピングで Durable Functions を利用した場合もデフォルト15分でタイムアウトとなりますが、私たちの処理は平均2-3分でジョブが完了するため問題にはなりませんでした。

また、私たちの改善案では従来ある Step Functions の仕組みを活かしながら流量制御をするために Lambda Durable Functions を利用して Step Functions を呼び出していますが、ゼロから構築する場合は Lambda Durable Functions だけで処理ワークフローのステップを構築する方針にすることも検討されます。

Step Functions の Map ステートによってジョブ管理 Lambda 関数の起動数を集約する

2つ目のコスト最適化は、ジョブ管理 Lambda 関数の起動数自体を減らすことです。

従来は SQS メッセージ1つを処理するためにジョブ管理 Lambda 関数が 1つ起動し、Step Functions ワークフローが1つ実行されるという関係でした。これを複数の SQS メッセージを一度に処理するために、イベントソースマッピングのバッチサイズを増加させるように変更しました。これにより 1つのジョブ管理 Lambda 関数は複数メッセージをまとめて受け付け、ワークフローに渡します。ワークフローでは Map 処理により、各メッセージが並列に処理されます。

これらの対策を実装しても流量制御は引き続き実施できます。ただし上限の計算ロジックが変わり、処理の多重度の上限は、イベントソースマッピングの最大同時実行数 × Map ステート の MaxConcurrency という掛け算で決まるようになりました。制御点が1箇所から2箇所に増えましたが、いずれも設定値であることに変わりはなく、運用のシンプルさは維持できています。

2つの対策を適用した結果、Lambda 関数のコストは 11,500ドル/月から4,000ドル/月となり、約65%のコスト削減となりました。

まとめ

本記事では、サーバーレスな多重処理基盤における流量制御とコスト最適化の取り組みをご紹介しました。流量制御の仕組みにはイベントソースマッピングの同時実行数を活用し、Lambda 関数の提供する機能だけで流量制御が実装できること、待機処理を含む Lambda 関数の課金は Durable Functions によるコスト最適化が可能であることを示しました。

本記事が、読者の皆さまの参考になれば幸いです。

dsol_noda

NTTドコモソリューションズ株式会社 NTT IT戦略事業本部Digital Design & Development Center DataManagementPartner部門 野田圭佑

NTTドコモソリューションズにて、ITスペシャリストとして基幹系システムやプロダクト開発等に従事。現在はプロジェクトマネージャー兼テクニカルアーキテクトとして、ドコモグループの様々な課題解決を推進。

docomo_azuma

株式会社NTTドコモ マーケティングソリューション本部 マーケティングイノベーション部マーケティングDX推進室サービス企画 東凌

NTTドコモにてデータサイエンティストとして、データ分析やMLOps業務に従事。2025年より「レシートでためる」サービスのシステム開発等サービスプロダクト開発領域に従事し、現在はAI基盤チームとして社内のAI活用基盤の立ち上げ・整備・推進を担当。

aws_hirakawa

アマゾン ウェブ サービス ジャパン合同会社 平川大樹

ソリューションアーキテクトとして通信業界のお客様の AWS 活用を支援しています。