Amazon Web Services ブログ
マルチスレッド環境での AWS KMS データキーのキャッシュ: 大規模なイベント駆動型システムにおけるテナントごとの暗号化
本ブログは 2026 年 8 月 6 日に公開された AWS Blog “Caching KMS data keys in multi-thread environments: Per-tenant encryption for event-driven systems at scale” を翻訳したものです。
謝辞: この記事の執筆に多大な貢献をしてくださった、NICE Actimize の Head of X-Sight Architects である Devora Roth Goldshmidt 氏に心より感謝します。
この記事は、エンベロープ暗号化と AWS Encryption SDK についての知識があることを前提としています。
暗号化システムが 1 時間あたり数百万件もの重複した API コールを生成すると、コストは膨れ上がり、パフォーマンスは低下します。これはまさに、NICE Actimize が Amazon Web Services (AWS) 上でグローバル規模のイベント駆動型金融犯罪検出プラットフォームを運用する中で直面した課題です。
金融犯罪対策、リスク管理、コンプライアンスのソリューションを提供する大手プロバイダーである NICE Actimize は、数百のテナントにわたって毎日数百万件の暗号化されたメッセージを処理しています。同社は暗号化キーのキャッシュ方法を見直すことで、厳格なセキュリティ保証とテナントごとの暗号化の分離を維持したまま、AWS Key Management Service (AWS KMS) のコストを 77% 削減しました。
この記事では、高い同時実行性を持つマルチテナントアーキテクチャでエンベロープ暗号化を使用したときに発生するキャッシュスタンピード (cache stampede) 問題について説明します。また、2 つの解決策を順に紹介します。1 つは AWS が推奨する階層キーリング (hierarchical keyring) パターン、もう 1 つは NICE Actimize が規制対象の環境向けに構築したカスタムキャッシュのアプローチです。これらのパターンは、マルチテナントの Software as a Service (SaaS) 環境や、テナントごとの暗号化によって大量の AWS KMS API コールが発生する高スループットのシステムに適用できます。
テナントごとの暗号化が重要な理由
金融サービスのシステムは、厳格な規制要件の下で運用されています。保管中のデータと転送中のデータは暗号化しなければなりません。マルチテナントの SaaS プロバイダーの場合、この要件はさらに厳しくなることがあります。暗号学的な分離を完全に実現するために、テナントごとに別々のキーでデータを暗号化しなければならない場合があるのです。こうすることで、あるテナントのキーが侵害されても、他のテナントのデータが危険にさらされることはありません。
例えば、Amazon Managed Streaming for Apache Kafka (Amazon MSK) を使用したイベント駆動型アーキテクチャ上に構築され、データの保存には多数の異なるデータベースを、メッセージングには Amazon Simple Queue Service (Amazon SQS) を使用するエンタープライズ SaaS 環境を考えてみましょう。メッセージはプロデューサーとコンシューマーの間を絶えず流れ、各メッセージは該当するテナント固有のキーで暗号化する必要があります。数百のテナントにわたって毎日数百万件のメッセージを処理する規模になると、暗号化と復号のオペレーションが大量に発生します。
この量を効率的に処理するための標準的なアプローチが、エンベロープ暗号化です。これは 2 層構造のモデルで、AWS KMS キーで有効期間の短いデータキーを暗号化し、そのデータキーで実際のデータを暗号化します。アプリケーションは、オペレーションのたびに AWS KMS を呼び出さずに大量のデータをローカルで暗号化できるため、レイテンシーとコストを削減できます。
キャッシュスタンピード問題
エンベロープ暗号化によって AWS KMS の呼び出しは減りますが、なくなるわけではありません。暗号化オペレーションでは、引き続きデータキーが必要です。このデータキーは、GenerateDataKey を使用して新たに生成するか、キャッシュから取得します。また、復号オペレーションでは、暗号化されたデータキー (EDK) をアンラップするために、毎回 Decrypt を呼び出す必要があります。数百万件のメッセージを処理する高スループットのシステムでは、これらの呼び出しの回数が急速に増加します。
この課題に対して、AWS Encryption SDK には組み込みのソリューションとして CachingCryptoMaterialsManager が用意されています。このコンポーネントはデータ暗号化マテリアル (データキー) をローカルにキャッシュするため、アプリケーションは毎回 AWS KMS を呼び出さなくても、複数のオペレーションでデータキーを再利用できます。有効期限 (TTL)、キャッシュされたデータキーで暗号化できるメッセージ数の上限、ローカルキャッシュを設定すれば、残りの処理は SDK が行います。
テナントの AWS KMS キーの Amazon リソースネーム (ARN) ごとにキャッシュをパーティション分割し、各テナントの暗号化マテリアルを暗号学的に分離しておけば、このアプローチは中程度の負荷では十分に機能します。しかし、同時実行性がスケールし、数百のスレッドが数百万件の暗号化されたメッセージを並列で処理するようになると、重大な問題が発生します。それがキャッシュスタンピードで、サンダリングハード (thundering herd) 問題とも呼ばれます。
スタンピードが発生する仕組み
CachingCryptoMaterialsManager は、SDK 内部の getMaterialsForEncrypt と decryptMaterials の呼び出し結果を、マテリアルのレベルでキャッシュします。一方、キャッシュスタンピードは AWS KMS API コールのレベルで発生します。キャッシュされたデータキーの有効期限が切れたときや、これまでに処理したことのない新しい EDK が届いたときには、次のような流れで問題が発生します。
- 暗号化時 – データキーの急増: 複数のスレッドが同じテナントに対して同時に
encrypt()を呼び出します。各スレッドはキャッシュエントリの有効期限切れを検出し、それぞれ独立して AWS KMS のGenerateDataKeyを呼び出します。1 つのスレッドがデータキーを生成し、他のスレッドはそれを待つ、という動作にはならず、N 個のスレッドが N 個の異なるデータキーを作成してしまいます。データキーが新しく作られるたびに一意の EDK が生成されるため、システム全体で EDK のカーディナリティが増大します。 - 復号時 – 冗長なアンラップ呼び出し: こうして増えた一意の EDK は、ダウンストリームに伝播します。後でコンシューマーが暗号化されたレコードを読み取る際、異なる EDK はそれぞれ別のキャッシュキーとして扱われます。キャッシュには、競合するスレッドを、処理中の 1 つのリクエストが完了するまで待機させる調整の仕組みがありません。そのため、同じ EDK を同時に処理する複数のスレッドが、それぞれ独立して AWS KMS に
Decryptを呼び出してしまいます。 - 複合的な影響: 暗号化側のスタンピードによって EDK のカーディナリティが過剰に増え、復号側のキャッシュヒット率が低下します。その結果、AWS KMS の呼び出しが増え、コストがさらに上昇します。NICE Actimize のケースでは、DynamoDB テーブル内のデータレコードに対する一意のデータキーの比率が 30% に達しました。つまり、約 3 件に 1 件のレコードが異なるデータキーで暗号化されていたことになります。
エンタープライズ SaaS の規模では、この複合的な影響により、SDK の組み込みキャッシュを有効にしていても、AWS KMS の GenerateDataKey と Decrypt の冗長な呼び出しが 1 時間あたり数百万件も発生する可能性があります。次の図は、スタンピードにつながるパターンを示しています。
図 1: キャッシュスタンピード – 複数のスレッドが同じ暗号化されたデータキーを処理するためにそれぞれ独立して AWS KMS を呼び出し、重複したリクエストが発生する様子
暗号化側では、スタンピードは次の順序で発生します。
- 複数のスレッドが同じテナントに対して同時に
encrypt()を呼び出します。 - 各スレッドが CachingCryptoMaterialsManager を確認し、キャッシュエントリの有効期限切れを検出します。
- 調整の仕組みがないため、各スレッドがそれぞれ独立して
GenerateDataKeyを呼び出します。 - AWS KMS が N 個の異なるデータキー (スレッドごとに 1 つ) を返します。
- データキーごとに一意の EDK が生成され、システム全体でカーディナリティが増大します。
復号側では、増大した EDK のカーディナリティによって問題がさらに悪化します。
- コンシューマースレッドが、一度もキャッシュされたことのない一意の EDK を処理することになります。
- 同じ EDK を同時に処理する複数のスレッドが、それぞれ個別に
Decryptを呼び出します。AWS KMS は同じプレーンテキストのデータキーを N 回返すことになり、処理が無駄に重複します。
2 つの解決策
キャッシュスタンピード問題を解決するために、2 つのアプローチを評価しました。それぞれ、異なるアーキテクチャ要件や規制上の制約に適しています。
オプション A: DynamoDB を使用した階層キーリング (AWS 推奨)
AWS は、階層キーリングパターンによってキャッシュスタンピードの課題に対処しています。このパターンでは、キー階層に新たなレベルを 1 つ追加することで、キャッシュスタンピードの発生頻度を大幅に低減します。
このアーキテクチャでは、DynamoDB テーブルに保存されたブランチキーが、中間のラッピングキーとして機能します。この DynamoDB テーブルは、分散フリート内のすべてのインスタンス間で調整を行う共有キャッシュレイヤーの役割を果たします。
図 2: 階層キーリングのアーキテクチャ – DynamoDB 内のブランチキーによる分散インスタンス間の調整
図 2 に示すアーキテクチャは、次のように動作します。
- アプリケーションが階層キーリングを通じて暗号化をリクエストします。
- キーリングが、テナントのブランチキーがローカルキャッシュにあるかどうかを確認します。
- キャッシュミスが発生した場合は、DynamoDB のキーストアテーブルにアクティブなブランチキーを問い合わせます。
- AWS KMS がブランチキーを復号します (このフローで発生する AWS KMS の呼び出しはこの 1 回だけです)。
- 復号されたブランチキーがキーリングに返されます。
- キーリングは、後続のリクエストに備えてブランチキーをローカルキャッシュに保存します。
- キーリングはブランチキーから一意のラッピングキーを導出し、データキーをローカルで生成します。
ここで重要なのは、このキャッシュがスレッド間の調整を考慮して設計されている (thread-aware) という点です。キャッシュの有効期限が切れると、スレッド間で調整が行われ、キャッシュを更新するリクエストは 1 回だけ実行されます。すべてのスレッドが独立して動作するのではなく、1 つのスレッドだけがブランチキーを取得するリクエストを実行します。さらに、キー階層にキーを 1 つ追加したことで、ブランチキーは AWS KMS の外で管理されます。つまり、キャッシュミスやそれによって引き起こされるスタンピードはブランチキーに対して発生するため、階層の最上位にある AWS KMS への呼び出しはそれほど多くなりません。
- 階層キーリングを使用しない場合: ローカルキャッシュにすべてのデータ暗号化キーを保存する必要があります。また、暗号化されたメッセージごとに新しい一意のデータキーが届くため、キャッシュミスが絶えず発生します。このキャッシュミスがスタンピードを引き起こす可能性があります。
- 階層キーリングを使用する場合: 同じブランチキーで数千から数百万のデータキーをラップします。キャッシュミスが発生するのは、ブランチキーの有効期限が切れたときか、初めてリクエストされたときだけです。その頻度は、階層キーリングを使用しない場合と比べて桁違いに少なくなります。
DynamoDB テーブルは調整ポイントとして機能します。キャッシュにないブランチキーを最初にリクエストしたスレッドが、そのキーを AWS KMS から取得し、DynamoDB (キーストアテーブル) に保存します。以降、フリート内のインスタンスからのリクエストは、AWS KMS を重複して呼び出すのではなく、キャッシュされたブランチキーを DynamoDB から取得します。
階層キーリングは、キャッシュミスの頻度を減らすだけでなく、ローカルキャッシュの実装自体にもスタンピード対策を組み込んでいます。SDK には複数のキャッシュタイプが用意されています。その中のデフォルトキャッシュは、多数のスレッドが並列に動作する環境向けに設計されており、ブランチキーマテリアルのエントリの有効期限が切れる 10 秒前に 1 つのスレッドに通知します。これにより、有効期限切れの際に複数のスレッドが AWS KMS を呼び出すことを防ぎます。通知を受けたスレッドがキャッシュを更新している間、他のすべてのスレッドはまだ有効なエントリを使用してリクエストを処理し続けます。
このソリューションは AWS Encryption SDK と統合されており、既存のアプリケーションに必要なコード変更はごくわずかです。暗号化された Kafka ストリームを処理するイベント駆動型アーキテクチャでは、このアプローチにより、テナントごとの暗号学的な分離を維持しながら、AWS KMS の呼び出し量を桁違いに削減できます。
オプション B: AWS KMS クライアントのカスタムキャッシュ – API レイヤーでのスタンピードの解決
階層キーリング (オプション A) はキャッシュミスの発生頻度を減らすことでスタンピードに対処しますが、これを補完するアプローチもあります。AWS KMS API のレスポンスを直接キャッシュし、同時実行スレッドによる重複した呼び出しを防ぐアトミックなシングルフライト (single-flight) 方式でキャッシュへの読み込みを行うことで、スタンピードを発生源で解消する方法です。NICE Actimize はこのアプローチを採用しました。
AWS Encryption SDK v3 の IClientSupplier 拡張ポイント
AWS Encryption SDK v2 でも、RegionalClientSupplier インターフェイスを通じて、リクエスト単位で AWS KMS クライアントをデコレートすることは可能でした。ただし、これは高度な使い方で、ドキュメント化されていないユースケースでした。明確なガイダンスやサポートされたパターンがなかったため、キャッシュ戦略は通常 SDK レイヤーより上位で動作しており、重複した AWS KMS の呼び出しを発生源で防ぐことは困難でした。AWS Encryption SDK v3 では IClientSupplier インターフェイスが導入され、AwsKmsMrkMultiKeyring は構築時にこのインターフェイスを受け取るようになりました。SDK は、特定の AWS リージョンの AWS KMS クライアントが必要になるたびにこのインターフェイスを呼び出します。何を返すかはお客様が制御できるため、SDK と AWS KMS の間にキャッシュレイヤーを挿入できます。
アーキテクチャ: 2 つの Caffeine キャッシュを備えたデコレート済み AWS KMS クライアント
このソリューションの中核となるのが CachedKmsClient です。これは標準の AWS SDK の KmsClient をラップするデコレーターで、アプリケーションと AWS KMS の間に 2 つの Caffeine LoadingCache インスタンスを挟み込みます。
| キャッシュ | キー | 値 | 目的 |
| GenerateDataKey キャッシュ | GenerateDataKeyRequest (テナントの KMS キー ARN とキー仕様) | GenerateDataKeyResponse (EDK とプレーンテキストのデータキー) | キャッシュ期間中、同じノード上の暗号化オペレーションで、特定のテナントの KMS キーに対して同じデータキーを再利用する |
| Decrypt キャッシュ | DecryptRequest (EDK とキー ARN) | DecryptResponse (プレーンテキストのデータキー) | 同じ EDK に対する復号オペレーションで、AWS KMS の 1 回の呼び出し結果を共有する |
どちらのキャッシュも refreshAfterWrite (デフォルト: 1 時間、変更可能) で構成されています。これにより、次のように動作します。
- 次の更新が必要になるまでの期間中は、同時実行スレッドがキャッシュされたレスポンスを即座に受け取るため、AWS KMS の呼び出しは一切発生しません。
- キャッシュエントリの有効期限が切れると、Caffeine の
LoadingCache.get()により、ローダー関数 (実際の AWS KMS API コール) を実行するスレッドが厳密に 1 つだけであることが保証されます。他のすべての同時実行スレッドはブロックされ、その 1 つの結果を待ちます。これが、スタンピードを解消するアトミックなシングルフライトの特性です。
セキュリティに関する考慮事項: プレーンテキストのデータキーをメモリにキャッシュすると、キャッシュの TTL の間、キーがプロセスメモリ内に存在することになります。TTL はセキュリティコントロールとして機能します。TTL を短くすると、メモリダンプが発生した場合にキーが漏えいするおそれのある期間が短くなります。一方、TTL を長くすると AWS KMS の呼び出し量が減ります。セキュリティ要件と、コストおよびパフォーマンスの目標とのバランスが取れる TTL を選択してください。なお、KMS キーレベルでのキーローテーションはキャッシュの影響を受けません。ローテーションされたキーからは、次回のキャッシュ更新時に新しいデータキーが生成されるためです。
AWS Encryption SDK v3 との統合
統合に必要な作業はごくわずかです。IClientSupplier AWS Lambda 関数は AWS リージョンごとに CachedKmsClient のシングルトンを返し、このシングルトンがキーリングの構築時に AwsKmsMrkMultiKeyring に渡されます。以降、SDK による GenerateDataKey と Decrypt の呼び出しはすべて、キャッシュデコレーターを透過的に経由します。暗号化や復号の呼び出し箇所を変更する必要はありません。
CachedKmsClient は AWS リージョンごとのシングルトン (ConcurrentHashMap を使用して管理) です。そのため、同じノード上のすべてのテナントが同じキャッシュレイヤーを共有します。それでも、キャッシュキーにテナント固有の AWS KMS キー ARN が含まれるため、各テナントのデータキーは完全に分離されたままです。
Caffeine を選んだ理由
Caffeine は、高性能かつほぼ最適な Java キャッシュライブラリで、次のような理由からこのパターンに適しています。
- アトミックな読み込み:
LoadingCache.get()は、キャッシュミス時にローダーを実行するスレッドが 1 つだけで、他のスレッドは待機することを保証します。これが、スタンピードを解消するための中核となる特性です。 - refreshAfterWrite のセマンティクス: 更新中にすべてのスレッドをブロックする
expireAfterWriteとは異なり、refreshAfterWrite では、1 つのスレッドがエントリを非同期で再読み込みしている間も、他のスレッドは古くてもまだ有効なキャッシュ値を引き続き返せます。これにより、キーローテーション時のレイテンシーの急増を防げます。 - オブザーバビリティ: キャッシュのエビクションリスナーと Micrometer のメトリクスカウンターを組み込むことで、テナントの KMS キーごとに実際の AWS KMS の呼び出し量を追跡でき、リアルタイムでコストをモニタリングできます。
2 つのオプションの選び方
DynamoDB を使用した階層キーリング (オプション A) は、本番環境に対応した AWS 推奨のソリューションで、有効期間の長いブランチキーを導入することでスタンピードの頻度を低減します。ほとんどの組織にとって、これが最適な選択肢です。特に、新規に構築する場合や、データストアの追加に伴う運用上のオーバーヘッドを許容できる場合に適しています。
NICE Actimize がカスタムキャッシュのアプローチ (オプション B) を選んだのは、暗号化のクリティカルパスに新たなインフラストラクチャの依存関係を持ち込まずに済むという、実用的な理由からです。同社のプラットフォームは、既に数百のテナントにわたって大規模に運用されていました。キー調整レイヤーとして DynamoDB テーブルを追加すると、暗号化/復号のホットパスに直接配置されるコンポーネントについて、プロビジョニング、モニタリング、バックアップ、アクセス制御、高可用性の確保といった運用上の責任を新たに負うことになります。規制対象の金融サービス環境では、セキュリティチェーンにステートフルなコンポーネントを追加するたびに、レジリエンス計画、障害モード分析、コンプライアンスレビューを個別に実施する必要があります。これに対して、オプション B で使用する Caffeine キャッシュはインプロセスで動作するライブラリ (クラスパス上の JAR) です。ステートレスであり、ネットワーク呼び出しもプロビジョニングも不要で、運用上のオーバーヘッドもありません。クリティカルパス上にマネージドクラウドリソースを置くよりも、軽量な依存関係で済みます。失われるおそれのある共有状態も、保護すべき追加のインフラストラクチャもなく、AWS KMS 自体に既に存在するもの以外に新たな障害モードも生じません。ノードが再起動しても、次の AWS KMS の呼び出し時にキャッシュが再構築されます。
結果
最適化したキャッシュのアプローチでローテーションポリシーを実装した結果、NICE Actimize は次の成果を達成しました。
- AWS KMS コストの 77% 削減 – 数百万件の冗長な API コールを排除したことが、そのまま大幅なコスト削減につながりました。
- テナントごとの厳格な分離の維持 – テナントごとの暗号化の分離は完全に保たれ、セキュリティポスチャが損なわれることはありませんでした。
- システムパフォーマンスの向上 – AWS KMS の重複した呼び出しによるスタンピードを解消したことで、レイテンシーが低減し、コア処理に使えるシステムリソースが増えました。
- 運用の簡素化 – スレッドごとに断片化していたキャッシュを、調整機能を持つキャッシュレイヤーに置き換えたことで、運用の複雑さが軽減されました。
まとめと次のステップ
マルチテナントの暗号化システムでは、キャッシュスタンピード問題が複合的に悪化します。暗号化側で過剰に生成されたデータキーが復号側のキャッシュヒット率を低下させ、冗長な AWS KMS の呼び出しが繰り返されるフィードバックループが生じるためです。DynamoDB を使用した AWS 推奨の階層キーリングパターンは、最小限のコード変更で AWS Encryption SDK と統合できる、本番環境に対応したソリューションです。追加の制御が求められる規制対象の環境では、カスタムキャッシュのアプローチでも同様の効果を得られます。
マルチテナント SaaS プラットフォームや、テナントごとの暗号化が求められる高スループットのシステムを運用している場合は、暗号化のコストとパフォーマンスを最適化するために、これらのパターンの採用を検討してください。
まずは、次のリソースをご覧ください。
本ブログは Security Solutions Architect の 中島 章博 が翻訳しました。