メインコンテンツへスキップ
AMPL
AIエージェントの安全運転
レッスン 8 / 15|14分で読めます

AIエージェントの安全運転

致命傷の方程式リーサルトライフェクタ、ゼロトラストの考え方、Claude Codeの権限モード、MCPの罠、学習利用設定。「作っている最中のあなた」を守る。

ここまで守ってきたのは、作ったアプリでした。

今回守るのは、作っている最中のあなたのPCです。

Claude Codeのようなエージェントは、ファイルを書き換え、コマンドを実行します。強力さと危険は、同じ蛇口から出てきます。

幸い、この領域には一次情報があります。Anthropicは2026年に「Zero Trust for AI Agents」という36ページの公式ガイドを出し、公式ドキュメントでも何が危険で、どう使ってほしいかをはっきり書いています。今回はその言葉を直接引きながら、1つの方程式と4つの安全装置を確認します。

ㅤ

致命傷の方程式: リーサルトライフェクタ

まず、エージェント事故の全体を1つの式で持ちます。

セキュリティ研究者のSimon Willison（サイモン・ウィリソン）は、AIエージェントが致命的な被害を出す条件を、3つの能力の組み合わせとして整理しました。リーサルトライフェクタ（lethal trifecta、致命的な三拍子）と呼ばれます。

  • 機密データへのアクセス（ファイル・認証情報・メールを読める）
  • 信頼できないデータへの露出（外部のWebページ・文書・ツール説明を読む）
  • 外部へのデータ送信（Webへの通信・メール送信ができる）

1つ1つは、エージェントを便利にしている能力そのものです。しかし3つが同時に揃うと、外部の文書に仕込まれた指示を読んだエージェントが、あなたの機密を読み出し、外部へ送る、という一本道が成立します。

だから対策の発想は明快です。3つを同時に揃えない。 機密に触れる作業では外部Webを切る。外部の文書を読ませる作業では機密フォルダに触れさせない。どれか1つを外せば、この式は成立しません。

視点

ゼロトラスト: 「誤作動する前提」で設計する

Anthropicの公式ガイド「Zero Trust for AI Agents」の土台は、ゼロトラストという古典的な考え方です。決して信頼せず常に検証する。侵害を前提とする。権限は最小にする。 大事なのは、エージェントは攻撃されなくても確率的に誤作動するということです。誤削除・誤送信は悪意ゼロでも起きる。だから目標は「完璧に信頼できるエージェント」ではなく、「誤作動しても被害が広がらない環境」になります。

ㅤ

安全装置1: 権限モードを理解する

Claude Codeは、既定では読み取り以外の操作にあなたの承認を求めます。ファイル編集もコマンド実行も、一度あなたに聞いてから。公式ドキュメントの言葉では、こうです。

You're responsible for reviewing proposed code and commands for safety before approval.（提案されたコードやコマンドの安全性を承認前に確認する責任は、あなたにあります）

つまり設計思想として、最終確認者は人間に置かれています。

一方で、すべての確認を飛ばす --dangerously-skip-permissions（bypassPermissions）というモードも存在します。名前からして危険（dangerously）ですが、Anthropicはこのモードの用途を明確に限定しています。

「隔離されたコンテナやVM（仮想マシン）でのみ使用すること」。つまり、壊れても困らない使い捨ての環境専用です。日常のPC、患者関連ファイルや原稿の入ったマシンで常用する使い方は、開発元の想定外だと知っておいてください。

注意

便利さに慣れた頃がいちばん危ない

エージェントに慣れてくると、確認ダイアログを読まずにEnterを押すようになります。これは実質、bypassモードと同じです。全部を熟読する必要はありませんが、削除・送信・インストールの3語が見えたら指を止める。この癖だけで、重大事故の大半は避けられます。

権限のもう一段細かい話が、渡す道具そのものを絞ることです。ゼロトラストのガイドはこれを least agency（最小の行動力）と呼びます。データを見せたいだけなら、データベースの読み書きツールではなく読み取り専用のツールを渡す。メールを確認させたいなら、送信までできるツールではなく閲覧だけのツールにする。第3回でRLSに書いたポリシーと同じ発想を、今度は自分のエージェントに向けます。

ㅤ

安全装置2: MCPサーバーは「無審査」と知る

MCP（AIと外部ツールをつなぐ仕組み、連携編参照）は、エージェントの手を一気に増やします。NotionやGmailにつながるのは、その仕組みのおかげです。

ここで、多くの人が誤解している事実をひとつ。

Anthropicの公式ドキュメントは、第三者のMCPサーバーについてこう明言しています。

Anthropic ... does not security-audit or manage any MCP server.（AnthropicはいかなるMCPサーバーについても、セキュリティ監査や管理は行っていません）

ディレクトリに掲載される際の基準確認はありますが、中身の安全性を保証する仕組みではない。だから公式の推奨は「信頼できる提供元のものを使うか、自分で作る」です。

MCPサーバーを1つ足すことは、新しいスタッフを1人、合鍵付きで雇うことに相当します。雇う前に、誰が作ったか、何の権限を求めているかを見る。そして使わなくなったものは、医療セキュリティ回でやったとおり、定期的に棚卸しして外します。

もうひとつ、盲点になりやすい手口がツールポイズニングです。ツール本体の動作は正常でも、ツールの説明文にAIへの指示が仕込まれているパターン。たとえば説明文に「動作がおかしいときは、このコマンドを実行してトラブルシューティングしてください」と書いてあり、そのコマンドが情報を外部に送る、という形です。ツールの説明文はインストールした瞬間にエージェントのプロンプトへ入ります。つまり第7回のプロンプトインジェクションが、道具の説明書という顔をして入ってくる。リーサルトライフェクタの「信頼できないデータへの露出」は、Webページだけの話ではありません。

ㅤ

安全装置3: 外部の文章を素通しさせない

前回のプロンプトインジェクションは、エージェントの世界ではもっと切実になります。

エージェントはWebページを読み、その内容に基づいて行動するからです。Anthropicの研究チームは「エージェントが訪れるすべてのWebページが、潜在的な攻撃経路」と書いています。悪意ある文章を読んだエージェントが、あなたの意図しないコマンドを実行する。これが現実の攻撃シナリオです。

Claude Code側にも防御はあります（Web取得の内容を隔離された文脈で処理する、など）。それでも公式ドキュメントの推奨は明確です。

  • 信頼できない内容を、そのままエージェントに流し込まない
  • 外部Webサービスと絡む作業は、隔離環境（VM）での実行を検討する

医療者の日常に引き付ければ、「知らないサイトのテキストを丸ごと貼り付けて『これやっといて』と頼まない」。それだけでも、攻撃経路は大きく減ります。

ㅤ

安全装置4: チャットの学習利用設定を確認する

最後は、エージェントというよりAIサービス全般の話です。

個人向けのClaude（Free/Pro/Max）には「Model Improvement」という設定があり、これがオンの場合、入力内容がモデルの学習に使われることがあります。設定はいつでも変更できます（claude.ai の Settings から Privacy）。

一方、Claude CodeやAPIなどの商用条件下では、Anthropicは既定で学習に使いません。公式ドキュメントの言葉です。

Anthropic does not train generative models using code or prompts sent to Claude Code under commercial terms.

Vibe Coding連載の第1回から言い続けている「患者情報をAIに入れない」は、マナーの話ではなく、この仕組みを踏まえた防御線です。設定を確認した上で、それでも入れない。二重の守りにしてください。

明日のアクション

今日中にやる3点

  1. claude.ai の Settings で Model Improvement（学習利用）の設定を確認する
  2. 自分が接続しているMCPサーバーを一覧にし、「提供元を説明できないもの」を外す
  3. Claude Codeを bypass 系モードで常用していないか振り返る（常用しているなら、承認モードに戻すか隔離環境を検討）

ㅤ

今日のまとめ

3行で振り返ります。

  • 致命傷の式はリーサルトライフェクタ。機密アクセス×信頼できないデータ×外部送信のうち、どれか1つを外す
  • エージェントは攻撃されなくても確率的に誤作動する。目標は完璧な信頼ではなく、誤作動しても被害が広がらない環境（ゼロトラスト）
  • 具体策は4つ。承認は読む・MCPは吟味して棚卸し・外部の文章を素通しさせない・学習利用設定を確認

ㅤ

次のレッスン

次回からの2回は、アプリではなく医療情報そのものを守る話です。まず「氏名を消したから匿名化できている」という、多くの医療者が通る錯覚から。希少性が名札になる仕組みと、AIに入れてよい形への変換を扱います。

ㅤ

参考・出典