
前回の最後に、こんな問いを残しました。危険がありうるとして、社会は何を、どう備えればよいのでしょうか。
前回は、AIの危険を六つの種類に分け、「原因・過程・制度・結果」のどこの話かを整理して読みました。危険がいくつもあるなら、備えも一つでは足りません。
この回では、備えを三つの層に分けて考えます。制度の名前を覚えることより、どの層がどんな失敗を受け持つのかが読めるようになることが目標です。
三つの層:備えを重ねて考える
地震への備えを思い浮かべてください。建物を丈夫にする。街全体の決まりを作る。揺れたあとに暮らしを立て直す支えを用意する。どれか一つだけでは、抜けが残ります(これは分かりやすくするための、この講座の例え話です)。

AIへの備えも同じで、大きく三つの層に分けられます。図の点は、起こりうる問題です。上から落ちてきて、板の切れ目をすり抜けたものだけが、次の層へ進みます。
備えを、
概念図。
1つ目の層は、技術・組織運用です。AIを作る側、使う側の組織が、評価し、監視し、止めます。権限の管理、少しずつ広げる公開、事故への対応、復旧などが入ります。
2つ目の層は、公共ガバナンス(公の仕組みによる舵取り)です。国などの公的な仕組みが、共通のルールと救済を整えます。守る義務のある決まり、外部の第三者による点検、事故の報告、会社どうしの競争を保つ政策などが入ります。
3つ目の層は、社会的レジリエンス(社会が立て直す力)です。失敗しても立て直すための備えで、AIを使いこなす知識、仕事が変わる人の移行、異議の申し立て、人の手による代わりのやり方などが入ります。
どの層も、一枚では穴が残ります。三つを重ねても穴がなくなるわけではありませんが、一つの層の抜けを、ほかの層で受け止められます。
1つ目の層の中身:AIのまわりに置く見張り
1つ目の層を、もう少し具体的に見ておきます。国際的な専門家がまとめた報告書「International AI Safety Report 2026(国際AI安全レポート2026)」は、一つのAIのまわりに置ける見張りと歯止めを、図で整理しています(Figure 3.7)。ふつうの言葉にすると、次のとおりです。どれも、AIが動いている最中に、おかしな動きを見つけたり止めたりする仕組みです。
- 入り口と出口の見張り:AIに入る指示と、AIが出す答えに、有害な内容がないかを調べる
- 考えている途中の見張り:答えを出すまでの考えの道筋に、有害な計画の兆しがないかを調べる
- 中身の見張り:AIの内部の状態を観測する
- 機械の見張り:AIが動いている環境と、使っている計算の資源を見張る
- 人による監督:安全と責任のために、人が途中で口を出し、止められるようにする
- 囲い(サンドボックス):AIが外の世界に直接手を出せる範囲を、囲いの中に限る
報告書は、これらを順番に通る工程としてではなく、一つのAIのまわりに重ねて置けるものとして示しています。どの方法がどれだけ事故を減らしたかを測った図ではありません。
見張りは、
概念図。
三つ目の社会的レジリエンスとは、失敗や急な変化が起きても、社会が被害を吸収し、立て直せる力です。レジリエンスは「立ち直る力」という意味の英語です。
技術的な防止策が破られたあとにも、異議の申し立て、救済、人の手による代わりのやり方は役に立ちます。
一方で、社会の側で備えるからといって、AIを作る会社の評価や安全の設計が要らなくなるわけではありません。法律で義務を決めても、測り方が古ければ、新しい失敗を見落とします。
一つの層がうまく働いても、ほかの二つの層は要らなくなりません。
制度の違い:同じ強さで読まない
次に、公共の制度を見ます。ここでは、アメリカ、EU、日本の三つを取り上げます。全部覚える必要はありません。見るのは、だれに、何を求めていて、守らせる力があるのかです。
同じ
概念図。
アメリカ:任意の枠組み
アメリカ政府の機関に、NIST(国立標準技術研究所。技術の基準づくりを担う機関)があります。NISTは「AI RMF 1.0」を出しました。AIのリスクを管理するための手引きです。
これは任意の枠組みです。守るかどうかを、各組織が自分で決めます。
組織は、AIの企画から運用までの全体で、四つの働きを回します。評価、使い続けるか止めるかの判断、事故への対応、復旧までを扱います。四つの働きの名前は英語で、GOVERN(体制をつくる)、MAP(状況とリスクを把握する)、MEASURE(測る)、MANAGE(対処する)という意味の言葉です。上の「評価、判断、事故への対応、復旧」と一つずつ対応するかどうかは、この講座の資料からは分かりません。
任意であることは、内容が弱いという意味ではありません。法律のような強制力はない、という意味です。
NISTでAIを担当する主任アドバイザー(当時)だったElham Tabassi(エルハム・タバッシ)は、AIを技術の面だけで見ることはできない、と述べています。

“We can’t just look at AI systems through a technical or computational lens.”
AIシステムを、技術または計算の観点だけで見ることはできません。
EU:法律による義務
EUには「EU AI法」というAIの法律があります。
この法律は、いろいろな用途に使える汎用AIを作って世に出す会社に、技術文書、著作権の方針、学習に使った内容の公開用の要約などを求めます。
とくに大きなリスクを持つ汎用AIには、さらに義務が加わります。モデルの評価、わざと攻めて弱点を探すテスト、リスクの評価と軽くする対策、重大な事故の報告、サイバー攻撃への守りなどです。
こちらは、守る義務のある法律です。
日本:推進を軸にした法律
日本にも、AIの法律があります。正式な名前は「人工知能関連技術の研究開発及び活用の推進に関する法律」です。
この法律は、政府の中にAI戦略本部(国のAI政策を進める組織)を置き、国のAI政策の方針である基本計画を作ります。そして、研究開発、基盤、人材、国際協力を進めます。
あわせて、人の権利や利益を害する事案の調査、指導・助言、情報の公表も定めています。
守る義務を課す法律かどうかでいえば、この講座の資料に書かれている範囲では、EUのように事業者の義務を並べる法律というより、推進を軸にして、調査と指導・助言を置く法律です。
三つの制度を、一枚の表で比べる
三つを並べたのが、次の表です。この表は、各機関の資料からAMPLが組み直した比較で、制度の違いを見るためのものです。
読み方は次のとおりです。行は、三つの制度です。列は、左から順に、守る義務があるか(拘束力)、主な対象、求める行為、実際に動かす組織です。まず「拘束力」の列を上から下へ見てください。次に、「求める行為」の列で、何をさせたいのかを見比べます。
NIST AI RMF、EU AI Act、日本AI法の違い
| 制度 | 拘束力 | 主な対象 | 求める行為 | 実施・執行主体 |
|---|---|---|---|---|
| NIST AI RMF | 任意の枠組み | AIの設計、開発、導入、利用に関わる組織 | GOVERN、MAP、MEASURE、MANAGEを通じたリスク管理 | 各組織が採用。NISTは手引きを提供し、法執行は行わない |
| EU AI Act | 法的義務 | 汎用AIの提供者。システミックリスクを持つモデルには追加義務 | 技術文書、著作権方針、訓練内容の要約。追加で評価、緩和、事故報告、サイバー対策 | 欧州委員会のAI Officeを中心に、加盟国の当局も関与 |
| 日本AI法 | 法律(推進が軸) | 国、地方公共団体、研究開発・活用に関わる事業者、国民 | 基本計画、研究開発と活用の推進、事案の調査、指導・助言、情報公表 | AI戦略本部と政府。関係行政機関が調査や指導・助言を行う |
表の言葉を、いくつか補っておきます。「システミックリスク」は、さきほどの「とくに大きなリスク」のことです。「欧州委員会」はEUの行政を担う組織で、「AI Office」はその中でAIを担当する部署(EUのAI担当の窓口にあたる組織)です。
表から分かるのは、同じ「国や地域が出した枠組み」でも、守る義務があるかどうか、対象はだれか、だれが動かすのかが違う、ということです。一方で、表は制度の中身の比較です。どの制度がどれだけ事故を減らしたかは、この表からは分かりません。
「国が枠組みを出した」「法律になった」というだけでは、同じ対策を意味しません。対象と手段を確かめて初めて、どの失敗に効くのかを比べられます。
対策を三つの物差しで評価する
最後に、備えの案を比べる方法を見ます。対策は、安全を目指しているかどうかだけでは判断できません。次の三つの物差しに分けて見ます。
対策案を読む三つの物差し
有効性
想定した危険を減らせるか。実施の状況と効果を、何で測るか。
分配
費用、利益、情報、権限をだれに配るか。利用者や新しく参入する会社への影響は何か。
更新可能性
予測や線引きが外れたとき、見直し、撤回、救済ができるか。
例を三つ挙げます。
一つ目は、計算量の線引きです。AIに使う計算の量に線を引いて、超えたものを対象にします。対象を見つけやすい反面、少ない計算で高い性能を出す工夫や、答えを出すときの計算を取りこぼす可能性があります。
二つ目は、独立監査です。外部の第三者が点検します。AIを作る会社だけで評価するより、独立性が加わります。ただし、資料を見せてもらえることと、点検する側の力量が必要です。
三つ目は、公開ウェイトです。ウェイトとは、AIが学んだ結果を記した数値のまとまりのことで、これを公開します。研究や競争を広げる点は「分配」(情報や権限をだれに配るか)、配ったあとの回収や安全策を保つことが難しい点は「更新可能性」(外れたときに撤回できるか)の物差しで読めます。

どの対策にも、交換条件があります。
注意
証拠は、何を守るかまでは決めてくれない
安全、新しい技術、プライバシー、競争、人の自律のうち、どれを重くするかは、価値判断です。
証拠は、対策の効果や負担を調べる助けになります。ただし、守る価値を自動で決めてはくれません。
最後に、この回の考え方を使ってみましょう。説明のために作った、架空の場面です。
セルフチェック
1. ある国が「一定以上の計算量で作られたAIだけを対象にする規則」を作りました。しかし、規則には、その線引きが実情に合わなくなったとき、見直したり、影響を受けた人を救済したりする手順が書かれていません。三つの物差しのうち、いちばん弱いのはどれでしょうか。
今日のまとめ
- AIへの備えは、技術・組織運用、公共ガバナンス、社会的レジリエンスの三つの層を重ねて作る
- NIST AI RMFは任意の枠組み、EU AI法は守る義務のある法律、日本のAI法は推進を軸に調査と指導・助言を置く。同じ強さで読まない
- 対策は、有効性、分配、更新可能性の三つの物差しで見比べる
次の回は、この問いから始めます。次に「AGIを達成した」という発表を見たら、何を確かめればよいのでしょうか。