AWS Startup ブログ
スタートアップが AI で成長し続けるための、 LLM ジャッキング対策
こんにちは、スタートアップソリューションアーキテクトの白石です。
生成 AI は、スタートアップの成長を大きく後押ししてきました。Amazon Bedrock は、Claude Code、Codex、Kiro などのコーディングエージェントや社員の日々の業務で、AI モデルを呼び出す基盤として使われています。プロダクトでも、Bedrock や Amazon SageMaker で動くモデルに RAG や MCP サーバーなどのツールを組み合わせ、Amazon Bedrock AgentCore などを実行環境にして、AI エージェントを自社サービスに組み込む例が増えています。この推論コストは、開発費や原価としてビジネスの中心に組み込まれるものです。
一方で、この推論コストを、肩代わりさせられるリスクがあります。
盗まれた認証情報で AI モデルを動かす「LLMジャッキング」です。
短期間で高額請求につながるリスクがあり、スタートアップにおいては経営の問題となりかねません。
ただし、その多くは高度な脆弱性を突いた攻撃によるものではなく、従来から注意喚起されている認証情報の管理が原因で起きています。AWS の仕組みを正しく理解し設定することで防げる部分が大きいリスクです。
この記事では、経営者と CTO が一緒に読むことを想定しています。前半パートは、「なぜ経営の問題となるのか」を、後半パートでは「何から始めるか」を、AWS のセキュリティの枠組み(識別・検知・防御・対応)に沿って紹介します。
守るべきは API キーだけではなく、認証全体を守ること。そして、「見つける仕組み」を構築することです。
【伝えたいこと】
何よりも重要なのは、認証情報を守ることです。長期アクセスキーを使っている場合は、一時的な認証情報への置き換えを検討してください。また、Amazon GuardDuty AI Protection は、請求を待たずに検知する最初の警報になります。まずは今日、識別と検知から始めてみてください。
目次
- LLMジャッキング(LLMjacking)とは:自社の AI が、第三者に使われる攻撃
- なぜ経営の問題なのか
- ここまでのまとめ:何が変わったのか
- 対策の全体像:識別・検知・防御・対応
- 経営者と CTO で確かめたい 7 つの質問
- まとめ
- 付録:設定のサンプル
LLMジャッキング(LLMjacking)とは:自社の AI が、第三者に使われる攻撃
LLMジャッキングは、盗んだ認証情報を使用しクラウドや自社で動かしている大規模言語モデル(LLM)を無断で利用し、その料金や負担を被害者に負わせる攻撃です。2024 年にセキュリティ企業がこの名前で報告しました。その後の公開レポートでは、盗まれたアクセスを束ねて他の利用者向けの LLM サービスとして転売するなど、盗まれた認証情報が攻撃者の収益につながる構造が報告されています。この対象はクラウドサービスだけでなく、自前の LLM サーバーにおいても悪用された例もあり、LLM 実行環境におけるリスクになります。
一方で、これは新しい攻撃というわけではありません。MITRE ATT&CK では「リソースの乗っ取り(T1496)」の一種に分類され、AWS CIRT の Threat Technique Catalog for AWS にも「T1496.A007 Cloud Service Hijacking – Bedrock LLM Abuse」として載っている通り、これまでのクラウドセキュリティの基本の延長で守れるものです。
なぜ経営の問題なのか
気付くまでの時間が、請求額を左右する
セキュリティ企業の 2026 年の公開レポートでは、1 日で 10 万ドルを超える利用が発生した組織が報告されています。数日間での高額請求につながるケースがあり、対応が遅れれば想定外の請求がランウェイに響き、利益率の見通しや資金計画にも影響することも考えられます。LLM ジャッキングが技術だけでなく経営の問題でもあるのは、このためです。請求書が届いた段階で気づくのではなく、日々のコスト監視など「気づくための仕組み」が必要です。
守るのは API キーだけではなく、その手前の認証
攻撃者が狙うのは、AI を呼び出すための API キーだけではありません。AWS Customer Incident Response Team(CIRT)によると、漏えいした長期の IAM 認証情報を、よくある侵入経路の一つとして挙げています。LLM ジャッキングの公開レポートでは、LLM を使っていなかった組織においても攻撃者がこうした認証情報を使用してサービスを有効にし、モデルを使い始めた例が報告されています。対策は、以前からある認証のベストプラクティスと同じです。
無料プランを、成長のエンジンのまま守る
認証情報が盗まれなくても、想定外の推論コストが膨らむケースがあります。ユーザーへの入り口として、AI 機能を無料で利用できるプランを提供している場合もあるのではないでしょうか。無料プランはユーザーを増やす強力な手段である一方で、上限の管理をどのように設計するかは検討が必要です。
アプリに組み込んだ API キーやトークンは、ユーザーに見られる前提で設計します。アプリの中身や通信はユーザー側から調べられるため、LLM の API キーはバックエンドだけで持ち、呼び出しの回数や金額の上限もバックエンドで管理します。さらに、ユーザーごとの上限とは別に、サービス全体の上限も設けます。
ここまでのまとめ:何が変わったのか
LLM ジャッキングへの基本的な対策としては、長期の認証情報を利用せず、最小権限、MFA、監視という、以前からある基本的なベストプラクティスの考え方が対策となります。守る対象は、LLMを呼び出すAPI キーだけではなく、キーの作成などを行う認証情報そのものが対象です。また、無料で AI を使えるサービスでは、アプリ内の認証情報の取り扱い・アカウントの量産による大量利用にも、サーバー側の上限で備えておく必要があります。
変わったのは、LLM への需要が増え続けていること、そしてこの攻撃が、攻撃者の利益につながる構造を持つことです。1 日で 10 万ドルを超える利用が報告されるなど、短期間での高額請求につながるケースがあります。請求を待たずに気付ける仕組みが必要です。
後半パートでは、より具体的に、何から始めればよいかを紹介します。
対策の全体像:識別・検知・防御・対応
AWS のセキュリティのガイダンスでは、対策を「識別」「防御」「検知」「対応」の 4 つに分けて考えます。LLMジャッキングもこの枠組みで整理できます。
| 分類 | やること | 始める時期 |
|---|---|---|
| 1. 識別 | 今ある鍵(認証情報)と、AI を呼び出せる場所を知る | 今日 |
| 2. 検知 | 不正な呼び出しと、想定外の請求に気付く | 今日 |
| 3. 防御 | 鍵を漏れにくくし、漏れても使える範囲を狭める | 次のステップ |
| 4. 対応と復旧 | 漏れたときに止め、元に戻し、再発を防ぐ | 手順を今決めておく |
まずは今日からできることとして、識別・検知から始めます。
1. 識別:今ある鍵と、呼び出せる場所を知る
- 長期のアクセスキー:IAM の認証情報レポートや AWS IAM Access Analyzer の未使用アクセスの検出を使い、だれが、いつから、どのキーを持っていて、最後にいつ使ったかを確認します。
- Bedrock API キー:長期の Bedrock API キーを確認します。
iam list-service-specific-credentials --all-usersで、アカウントごとに一覧を作ります。短期のキーは一覧に出ません。
--service-name bedrock.amazonaws.com - AI を呼び出せる場所:Bedrock の呼び出しを拒否する SCP が付いていないアカウントを確認します。「使っていないはずのアカウント」も対象です。AWS Organizations のサービスの最終アクセス情報を使うと、どのアカウントで Bedrock が使われたかを確認できます。
- 自前の推論サーバー:Amazon EC2、Amazon ECS、Amazon EKS などで、自前の推論サーバーを動かしている場合は実行場所を確認します。
※長期アクセスキーを利用している場合は、一時的な認証への置き換えを検討してください。例えば個別のユーザー向けにIAMユーザーでの長期アクセスキーを割り当てるのではなく、AWS IAM Identity Center での一元的なアクセス管理、一時的な認証を利用してください。(「3. 防御」参照)
2. 検知:今日から始める 5 つの設定
AWS には、LLMジャッキングに気付くために使えるサービスがいくつかあります。それぞれ、気付けるまでの時間と役割が違うので、速い警報と確実な網を重ねて使います。
| 仕組み | 何の時間か | 目安(公式ドキュメントより) | 役割 |
|---|---|---|---|
| Amazon GuardDuty GuardDuty AI Protection |
検出結果の EventBridge への通知 | 新しい検出結果は、ほぼリアルタイムで通知 ※ | 最初の警報 |
| AWS CloudTrail | API の記録の配信 | 証跡は平均約 5 分で配信 ※ | 調査と個別のアラート |
| AWS Budgets | 予算データの更新 | 1 日最大 3 回、通常 8〜12 時間おき | 最後の網 |
| AWS Cost Anomaly Detection | 異常の検知 | 最大 24 時間。新しいモニターは開始まで 24 時間、新しいサービスは 10 日分の履歴が必要 | 最後の網 |
※ GuardDuty の行は「通知」の速さで、検出そのものにかかる時間は公式ドキュメントに書かれていません。
※ CloudTrail の証跡は配信時間の保証はされていません。
AWS Budgets や Cost Anomaly Detectionなどの請求系の仕組みは、請求データがそろってから動きます。リアルタイム検知のためには、GuardDuty AI Protection を最初の警報としての役割を持たせます。CloudTrail の通知とも組み合わせてください。
(1)Amazon GuardDuty と GuardDuty AI Protection を有効にする
GuardDuty を有効にすると、認証情報が侵害されたときの一連の疑わしい動きを関連付けて、重要度 Critical の検出結果(AttackSequence:IAM/CompromisedCredentials)として知らせる機能が既定で有効になります。AI Protection は別途有効化が必要で、Amazon Bedrock または Amazon SageMaker AI モデルの異常な呼び出し「AnomalousModelInvocation」や、コストを押し上げる呼び出し「CostHarvesting」などを検出します。この 2 つは、IAM の ID やアカウントごとの普段の呼び出しベースラインと比べて検出する仕組みです。AI Protection の 3 つの検出タイプはすべて既定の重大度が Low なので、通知の条件を Medium 以上に絞っている場合は見直してください。
AI Protection は分析したデータイベントの量で課金されます。詳しくは GuardDuty の料金ページをご確認ください。
AWS アカウントが複数ある場合は、AWS Organizations でセキュリティ用のアカウントを GuardDuty の委任管理者に指定すると、組織内のすべてのアカウントでまとめて有効化できます。新しく作ったアカウントにも自動で有効にする設定があり、検証用のアカウントの見落としを防げます。委任管理者は、組織の管理アカウントとは別のアカウントにすることが推奨されています。GuardDuty はリージョンごとのサービスなので、使うリージョンごとに設定します。
(2)AWS Budgets で予算アラートを設定する
AWS Budgets は コストや使用量の予算額を設定し、実績値または予測値がしきい値を超えたときにメールや Amazon SNS で通知するサービスです。予算データの更新は1日最大3回、通常 8〜12 時間おきです。そのため、短時間で料金が膨らむ場合、通知が届く前に予算を超えることがあります。リアルタイムの検知には、GuardDuty や CloudWatch アラームとの併用が必要です。AWS Budgets のコスト予算は、AWS Marketplace の請求を含む AWS の総コストを追跡します。
(3)AWS Cost Anomaly Detection を設定する
AWS Cost Anomaly Detection は、機械学習で過去の支出パターンを学習し、通常と異なる支出を検知するとメールや Amazon SNS でアラートを送る機能です。AWS Budgets と異なり、しきい値を決めなくても異常な増加に気づくことができます。Bedrock のサードパーティモデルも対象です。ただし、使い始めたばかりのサービスは、異常を判断するために 10 日分の利用の履歴が必要です。
(4)Amazon Bedrock ならではの API を通知する
AWS CloudTrail イベントを、 Amazon EventBridge で受け通知することができます。たとえば、Bedrock を使わないはずのアカウントで、少量でもモデルが呼ばれたときに通知を受け取れます。(設定方法はこちら)
(5)通知の届け先を設定する
(1)〜(4)の通知先を決めます。メールやSlackなど、休日や夜間でも気付ける先を設定します。
IDE で AWS のアラートを受け取れる AWS Startup Advisor も、補助として使えます。AWS が隔離した漏洩キーや請求アラートが未設定であることを知らせます。IDE を開いているときに知らせる仕組みです。
3. 防御:漏れにくく、漏れても広がらないようにする
- 【重要】長期のアクセスキーを利用しない:AWS は、長期的な認証情報から一時的な認証情報へ移行することを推奨しています。開発者は AWS IAM Identity Centerを利用し、使っていないアクセスキーは削除します。
- 【重要】ルートユーザーと管理者を守る:ルートユーザーは日常の作業では利用しません。AWS Organizations のルートアクセスの一元管理を使うと、メンバーアカウントのルートユーザーの認証情報を削除できます。あわせて、AWS Control Tower のコントロールや SCP でルートユーザーの操作を制限します。権限の強い管理者には、パスキーなどフィッシングに強い MFA を使います。IAM ユーザーのアクセスキーは、アクセスキー自体を減らす取り組みもあわせて進めます。
- 自前の推論サーバーを守る:Amazon EC2、Amazon ECS、Amazon EKS で 独自の推論モデルを動かす場合は、プライベートサブネットに置き、セキュリティグループや NetworkPolicy で呼び出し元を限定することができます。外部から使うときは、Amazon API Gateway の IAM 認可や Application Load Balancer の OIDC 認証を前段に置くなど、認証認可を設計します。
- アプリ側の上限:回数の制限は、アプリの画面側ではなくサーバー側で行います。無料プランを提供している場合は、ユーザーごとの上限に加えて、サービス全体の上限も設けます。アカウントを量産されると、ユーザーごとの上限だけでは防げません。
追加の対策には、以下も検討してください。
- Bedrock API キーを管理する:必要がなければ、Bedrock API キーの作成を拒否します。使う場合は短期のキーを優先します。作成を拒否しても、すでに発行済みのキーは使えます。利用自体を止めるには、
bedrock:CallWithBearerTokenとbedrock-mantle:CallWithBearerTokenの両方を拒否します。条件キーbearerTokenTypeを使えば、長期のキーだけを止めることもできます(例:付録 A-2)。 - 呼び出せる場所を絞る:Bedrock を使わないアカウントでは、SCP や IAM ポリシーで呼び出しを制限することも選択肢です。bedrock-runtime と bedrock-mantle の両方を対象にしてください(例:付録 A-1)。
- ログ設定を守る:モデル呼び出しログの設定の変更・削除を、SCP で制限します(例:付録 A-3)。
<補足> 開発者が Bedrock を利用する場合
コーディングエージェントなどの開発ツールから Bedrock を使う場面が増えています。たとえば Claude Code は、IAM Identity Center の SSO プロファイルで Bedrock を利用することができます(aws sso login+AWS_PROFILE、期限切れ時の自動再ログイン設定awsAuthRefresh)。Claude Code のドキュメントでも、IAM ユーザーのアクセスキーを使わないよう AWS が勧めていることも注記しています。Bedrock API キーを使う場合は、最大 12 時間で切れる短期のキーを優先し、長期のキーは期限を付けて最小限にします。
4. 対応と復旧:漏れたときの手順を決めておく
手順は、漏れる前に決めておくことが大切です。最初の 1 時間にだれが何をするかを、チームで共有しておきます。GuardDuty などの検出結果は、AWS Security Hub に集めておくと 1 か所で確認できます。
- 漏れた認証情報を無効化する
- 攻撃者が作ったアクセスキー・IAM ユーザー・Bedrock API キーを探して無効化する
- 無効化されたモデル呼び出しログの設定など、変更された設定を元に戻す
- AWS サポートに起票して対応の記録を残す。手順は AWS re:Post の「AWS アカウントの不正なアクティビティに気付いた場合」も参考になります。
- 漏れた原因を直し、再発を防ぐ
AWS の利用が増え、チームサイズが大きい場合には、AWS Security Incident Response を普段から有効化することも選択肢になります。GuardDuty や Security Hub の検出結果の振り分けを自動化し、24 時間 365 日、AWS のインシデント対応の専門家に相談できるサービスです。AWS Enterprise Support と AWS Unified Operations のサポートプランでは追加料金なしで利用ができます。
経営者と CTO で確かめたい 7 つの質問
自社が今どの段階にいるかを知るための、7 つの質問です。
Q1 AI の請求に、上限の警報と異常検知を設定していますか? 通知はだれに届きますか?
Q2 請求を待たずに、不正な呼び出しを検知して通知する仕組みはありますか?
Q3 管理者のログインは、フィッシングに強い方法(パスキーなど)で守っていますか? 期限のないアクセスキーは残っていませんか?
Q4 無料プランや 1 ユーザーあたりの AI 利用に、上限はありますか? サービス全体の上限はありますか?
Q5 登録数やアクティブユーザーの中に、ボットや量産されたアカウントがどれだけ混ざっているか分かりますか?
Q6 漏洩が起きたとき、最初の 1 時間にだれが何をするか決まっていますか? 検証用の環境も、本番と同じように見張っていますか?
Q7 AI を使わない環境(アカウント)では、AI モデルの呼び出しを設定で止めていますか?
今どの段階にいるか
| 段階 | 状態 | この記事でいうと |
|---|---|---|
| 0:気付けない | 請求の警報がなく、請求書で初めて知る | ― |
| 1:気付ける | 請求の警報と、不正な呼び出しの検知がある | 1. 識別、2. 検知 |
| 2:漏れにくい | 期限のない鍵がなく、管理者はフィッシングに強い MFA。無料枠に上限。使わない環境では AI の呼び出しを止めている | 3. 防御 |
| 3:漏れても小さい | 環境が分かれ、全体に同じ基準。手順を練習している | 4. 対応と復旧 |
まとめ
AI を使う会社にとって、AI のコストは成長の原動力であり、同時に原価です。LLMジャッキングは、第三者が使った AI の推論コストを、会社が肩代わりさせられるリスクです。盗まれた認証情報がそのまま攻撃者の利益につながるため、AI を使える認証情報は、攻撃者にとって価値の高い対象になっています。気付くのが遅れれば、想定外の請求がランウェイを削り、利益率や成長の数字にも影響しかねません。
一方で、守り方は、認証を守り、気付く仕組みを入れるという、以前からある基本と変わりません。開発のスピードはそのままに、基本の設定を早めに入れておくことが、安心して AI を使い続けることにつながります。
何よりも重要なのは、認証情報を守ることです。長期アクセスキーを使っている場合は、一時的な認証情報への置き換えを検討してください。また、Amazon GuardDuty AI Protection は、請求を待たずに検知する最初の警報になります。
まずは今日、識別と検知から始めてみてください。そして 7 つの質問を、経営者と CTO の共通の話題にしてみてください。次のステップは、AWS のソリューションアーキテクトにもお気軽にご相談ください。
付録:設定のサンプル
※ 考え方を示すための例です。そのまま使わず、自社の環境(アカウント、ロール名、リージョン)に合わせ、テスト用のアカウントで動作を確かめてから適用してください。
A-1. AI を使わないアカウントで、モデルの呼び出しを止める(SCP)
{
"Version": "2012-10-17",
"Statement": [{
"Sid": "DenyBedrockInNonAIAccounts",
"Effect": "Deny",
"Action": ["bedrock:*", "bedrock-mantle:*"],
"Resource": "*"
}]
}
Bedrock を使わない OU に設定します。
A-2. 長期の Bedrock API キーの作成を止める(SCP)
{
"Version": "2012-10-17",
"Statement": [{
"Sid": "DenyBedrockApiKeyCreation",
"Effect": "Deny",
"Action": "iam:CreateServiceSpecificCredential",
"Resource": "*",
"Condition": {
"StringEquals": {
"iam:ServiceSpecificCredentialServiceName": "bedrock.amazonaws.com"
}
}
}]
}
A-3. モデル呼び出しログの設定を守る(SCP)
{
"Version": "2012-10-17",
"Statement": [{
"Sid": "ProtectInvocationLogging",
"Effect": "Deny",
"Action": [
"bedrock:PutModelInvocationLoggingConfiguration",
"bedrock:DeleteModelInvocationLoggingConfiguration"
],
"Resource": "*",
"Condition": {
"ArnNotLike": { "aws:PrincipalArn": "arn:aws:iam::*:role/IaCDeployRole" }
}
}]
}
あわせて、出力先の S3 バケットや CloudWatch Logsの保護も検討します。
参考資料
- Amazon Bedrock API キーの保護:実装と管理のベストプラクティス
- IAM でのセキュリティベストプラクティス
- AWS セキュリティサービスでキー露出を最小化する実践ステップ
- Amazon Bedrock の最小権限アクセスの実装
- Amazon Bedrock のモデルアクセス(ドキュメント) / Amazon Bedrock のクォータ(ドキュメント)
- GuardDuty AI Protection(ドキュメント) / 検出タイプ / EventBridge への通知
- CloudTrail の仕組み(ドキュメント)
- AWS Budgets(ドキュメント) / AWS Cost Anomaly Detection(ドキュメント)
- AWS 責任共有モデル
- Threat Technique Catalog for AWS:T1496.A007
- AWS Organizations で GuardDuty を管理する(ドキュメント)
- サービスコントロールポリシー(ドキュメント)
- Claude Code on Amazon Bedrock(ドキュメント)
- Google Cloud:The Rise of LLMJacking(日本語版)
- Sysdig:LLMjacking(日本語版) / Sysdig:The Growing Dangers of LLMjacking
- Wiz:From Phishing to LLMjacking
- BleepingComputer:Operation Bizarre Bazaar(Pillar Security の報告)
- AWS Startup Advisor
クラウドのガバナンスについては、スタートアップでも初期段階から適切に設計することで、クラウドのスピード・セキュリティの恩恵を素早く得ることが可能です。AWS を初めて使う場合は、併せて『スタートアップにおけるマルチアカウントの考え方と AWS Control Tower のすゝめ』も確認してください。