メインコンテンツへスキップ

社会はAIにどう備えるのか

AIの危険に、社会はどう備えればよいのか。備えを三つの層に分けて考え、EU・アメリカ・日本の制度の違いを表で読み、対策を三つの物差しで見比べます

  • レッスン 13 / 15
  • 10分

このレッスンで

終わる頃には、次ができるようになります

  • AIへの備えを、技術・組織運用、公共ガバナンス、社会的レジリエンスの三つの層に分けて説明できる
  • アメリカのNIST AI RMF、EU AI法、日本のAI法が、だれに何を求めるのか、守る義務があるのかの違いを説明できる
  • 対策案を、有効性・分配・更新可能性の三つの物差しで評価できる
木の机の上に、三枚のトレーシングペーパーが少しずつずらして重ねられている。建物の間取り、線でつないだ小さな四角、道路の地図が鉛筆で描かれ、下の層が透けて見える。層をまたいで、赤鉛筆の短い線が点を結んでいる
備えは、会社や組織、国の制度、社会の三つの層を重ねて考えます。

前回の最後に、こんな問いを残しました。危険がありうるとして、社会は何を、どう備えればよいのでしょうか。

前回は、AIの危険を六つの種類に分け、「原因・過程・制度・結果」のどこの話かを整理して読みました。危険がいくつもあるなら、備えも一つでは足りません。

この回では、備えを三つの層に分けて考えます。制度の名前を覚えることより、どの層がどんな失敗を受け持つのかが読めるようになることが目標です。

三つの層:備えを重ねて考える

地震への備えを思い浮かべてください。建物を丈夫にする。街全体の決まりを作る。揺れたあとに暮らしを立て直す支えを用意する。どれか一つだけでは、抜けが残ります(これは分かりやすくするための、この講座の例え話です)。

スケッチブックに鉛筆で描いたデッサン。居間の隅。金具で壁に留めた背の高い本棚、その横の床に、持ち出し用のリュック、ヘルメット、懐中電灯、大きな水のボトルが並んでいる。ヘルメットだけが赤鉛筆で塗られている
家具を留める。水と持ち出し袋を用意する。備えは一つではなく、重ねて用意します。

AIへの備えも同じで、大きく三つの層に分けられます。図の点は、起こりうる問題です。上から落ちてきて、板の切れ目をすり抜けたものだけが、次の層へ進みます。

備えを、三つの層で重ねる

概念図。板の切れ目が、それぞれの層の穴

起こりうる問題 技術・組織運用 組織が評価し、止める 公共ガバナンス 国などがルールを整える 社会的レジリエンス 失敗しても立て直す どの層にも、穴がある。重ねるほど、すり抜けにくくなる 起こりうる問題 技術・組織運用 組織が評価し、止める 公共ガバナンス 国などがルールを整える 社会的レジリエンス 失敗しても立て直す どの層にも、穴がある。重ねるほど、すり抜けにくくなる 起こりうる問題 技術・組織運用 組織が評価し、止める 公共ガバナンス 国などがルールを整える 社会的レジリエンス 失敗しても立て直す どの層にも、穴がある。重ねるほど、すり抜けにくくなる
図1どの層にも穴があります。層を重ねるほど、問題はすり抜けにくくなります。

1つ目の層は、技術・組織運用です。AIを作る側、使う側の組織が、評価し、監視し、止めます。権限の管理、少しずつ広げる公開、事故への対応、復旧などが入ります。

2つ目の層は、公共ガバナンス(公の仕組みによる舵取り)です。国などの公的な仕組みが、共通のルールと救済を整えます。守る義務のある決まり、外部の第三者による点検、事故の報告、会社どうしの競争を保つ政策などが入ります。

3つ目の層は、社会的レジリエンス(社会が立て直す力)です。失敗しても立て直すための備えで、AIを使いこなす知識、仕事が変わる人の移行、異議の申し立て、人の手による代わりのやり方などが入ります。

どの層も、一枚では穴が残ります。三つを重ねても穴がなくなるわけではありませんが、一つの層の抜けを、ほかの層で受け止められます。

1つ目の層の中身:AIのまわりに置く見張り

1つ目の層を、もう少し具体的に見ておきます。国際的な専門家がまとめた報告書「International AI Safety Report 2026(国際AI安全レポート2026)」は、一つのAIのまわりに置ける見張りと歯止めを、図で整理しています(Figure 3.7)。ふつうの言葉にすると、次のとおりです。どれも、AIが動いている最中に、おかしな動きを見つけたり止めたりする仕組みです。

  • 入り口と出口の見張り:AIに入る指示と、AIが出す答えに、有害な内容がないかを調べる
  • 考えている途中の見張り:答えを出すまでの考えの道筋に、有害な計画の兆しがないかを調べる
  • 中身の見張り:AIの内部の状態を観測する
  • 機械の見張り:AIが動いている環境と、使っている計算の資源を見張る
  • 人による監督:安全と責任のために、人が途中で口を出し、止められるようにする
  • 囲い(サンドボックス):AIが外の世界に直接手を出せる範囲を、囲いの中に限る

報告書は、これらを順番に通る工程としてではなく、一つのAIのまわりに重ねて置けるものとして示しています。どの方法がどれだけ事故を減らしたかを測った図ではありません。

見張りは、AIのまわりに重ねて置く

概念図。順番に通る工程ではない

入り口と出口の見張り 考えている途中の見張り 中身の見張り 機械の見張り 人による監督 囲い(サンドボックス) AI 入り口と出口の見張り 考えている途中の見張り 中身の見張り 機械の見張り 人による監督 囲い(サンドボックス) AI 入り口と出口の見張り 考えている途中の見張り 中身の見張り 機械の見張り 人による監督 囲い(サンドボックス) AI
図2六つの見張りは、AIのまわりに重ねて置きます。どれがどれだけ事故を減らしたかを示す図ではありません。

三つ目の社会的レジリエンスとは、失敗や急な変化が起きても、社会が被害を吸収し、立て直せる力です。レジリエンスは「立ち直る力」という意味の英語です。

技術的な防止策が破られたあとにも、異議の申し立て、救済、人の手による代わりのやり方は役に立ちます。

一方で、社会の側で備えるからといって、AIを作る会社の評価や安全の設計が要らなくなるわけではありません。法律で義務を決めても、測り方が古ければ、新しい失敗を見落とします。

一つの層がうまく働いても、ほかの二つの層は要らなくなりません。

制度の違い:同じ強さで読まない

次に、公共の制度を見ます。ここでは、アメリカ、EU、日本の三つを取り上げます。全部覚える必要はありません。見るのは、だれに、何を求めていて、守らせる力があるのかです。

同じ強さで、読まない

概念図。線の形は、守らせる力の違いの例え

アメリカ任意の枠組み EU法律による義務 日本推進を軸にした法律 アメリカ任意の枠組み EU法律による義務 日本推進を軸にした法律 アメリカ任意の枠組み EU法律による義務 日本推進を軸にした法律
図3点線は任意、壁は法律による義務、矢印は推進。三つを同じ強さで読みません。

アメリカ:任意の枠組み

アメリカ政府の機関に、NIST(国立標準技術研究所。技術の基準づくりを担う機関)があります。NISTは「AI RMF 1.0」を出しました。AIのリスクを管理するための手引きです。

これは任意の枠組みです。守るかどうかを、各組織が自分で決めます。

組織は、AIの企画から運用までの全体で、四つの働きを回します。評価、使い続けるか止めるかの判断、事故への対応、復旧までを扱います。四つの働きの名前は英語で、GOVERN(体制をつくる)、MAP(状況とリスクを把握する)、MEASURE(測る)、MANAGE(対処する)という意味の言葉です。上の「評価、判断、事故への対応、復旧」と一つずつ対応するかどうかは、この講座の資料からは分かりません。

任意であることは、内容が弱いという意味ではありません。法律のような強制力はない、という意味です。

NISTでAIを担当する主任アドバイザー(当時)だったElham Tabassi(エルハム・タバッシ)は、AIを技術の面だけで見ることはできない、と述べています。

VOICE
Elham Tabassiの肖像

“We can’t just look at AI systems through a technical or computational lens.”

AIシステムを、技術または計算の観点だけで見ることはできません。

写真の権利
Elham TabassiNIST Chief AI Advisor(当時)NIST

EU:法律による義務

EUには「EU AI法」というAIの法律があります。

この法律は、いろいろな用途に使える汎用AIを作って世に出す会社に、技術文書、著作権の方針、学習に使った内容の公開用の要約などを求めます。

とくに大きなリスクを持つ汎用AIには、さらに義務が加わります。モデルの評価、わざと攻めて弱点を探すテスト、リスクの評価と軽くする対策、重大な事故の報告、サイバー攻撃への守りなどです。

こちらは、守る義務のある法律です。

日本:推進を軸にした法律

日本にも、AIの法律があります。正式な名前は「人工知能関連技術の研究開発及び活用の推進に関する法律」です。

この法律は、政府の中にAI戦略本部(国のAI政策を進める組織)を置き、国のAI政策の方針である基本計画を作ります。そして、研究開発、基盤、人材、国際協力を進めます。

あわせて、人の権利や利益を害する事案の調査、指導・助言、情報の公表も定めています。

守る義務を課す法律かどうかでいえば、この講座の資料に書かれている範囲では、EUのように事業者の義務を並べる法律というより、推進を軸にして、調査と指導・助言を置く法律です。

三つの制度を、一枚の表で比べる

三つを並べたのが、次の表です。この表は、各機関の資料からAMPLが組み直した比較で、制度の違いを見るためのものです。

読み方は次のとおりです。行は、三つの制度です。列は、左から順に、守る義務があるか(拘束力)、主な対象、求める行為、実際に動かす組織です。まず「拘束力」の列を上から下へ見てください。次に、「求める行為」の列で、何をさせたいのかを見比べます。

Evidence table

NIST AI RMF、EU AI Act、日本AI法の違い

各機関の一次資料から再構成した制度比較
NIST AI RMF、EU AI Act、日本AI法の違い
制度拘束力主な対象求める行為実施・執行主体
NIST AI RMF任意の枠組みAIの設計、開発、導入、利用に関わる組織GOVERN、MAP、MEASURE、MANAGEを通じたリスク管理各組織が採用。NISTは手引きを提供し、法執行は行わない
EU AI Act法的義務汎用AIの提供者。システミックリスクを持つモデルには追加義務技術文書、著作権方針、訓練内容の要約。追加で評価、緩和、事故報告、サイバー対策欧州委員会のAI Officeを中心に、加盟国の当局も関与
日本AI法法律(推進が軸)国、地方公共団体、研究開発・活用に関わる事業者、国民基本計画、研究開発と活用の推進、事案の調査、指導・助言、情報公表AI戦略本部と政府。関係行政機関が調査や指導・助言を行う
根拠の種類: 各機関の一次資料から再構成した制度比較一次資料3件からAMPLが再構成。対象・要求する行為・実施手段の違いを比較しています。出典: NIST AI RMF出典: European Commission出典: 内閣府

表の言葉を、いくつか補っておきます。「システミックリスク」は、さきほどの「とくに大きなリスク」のことです。「欧州委員会」はEUの行政を担う組織で、「AI Office」はその中でAIを担当する部署(EUのAI担当の窓口にあたる組織)です。

表から分かるのは、同じ「国や地域が出した枠組み」でも、守る義務があるかどうか、対象はだれか、だれが動かすのかが違う、ということです。一方で、表は制度の中身の比較です。どの制度がどれだけ事故を減らしたかは、この表からは分かりません。

「国が枠組みを出した」「法律になった」というだけでは、同じ対策を意味しません。対象と手段を確かめて初めて、どの失敗に効くのかを比べられます。

対策を三つの物差しで評価する

最後に、備えの案を比べる方法を見ます。対策は、安全を目指しているかどうかだけでは判断できません。次の三つの物差しに分けて見ます。

対策案を読む三つの物差し

01

有効性

想定した危険を減らせるか。実施の状況と効果を、何で測るか。

02

分配

費用、利益、情報、権限をだれに配るか。利用者や新しく参入する会社への影響は何か。

03

更新可能性

予測や線引きが外れたとき、見直し、撤回、救済ができるか。

例を三つ挙げます。

一つ目は、計算量の線引きです。AIに使う計算の量に線を引いて、超えたものを対象にします。対象を見つけやすい反面、少ない計算で高い性能を出す工夫や、答えを出すときの計算を取りこぼす可能性があります。

二つ目は、独立監査です。外部の第三者が点検します。AIを作る会社だけで評価するより、独立性が加わります。ただし、資料を見せてもらえることと、点検する側の力量が必要です。

三つ目は、公開ウェイトです。ウェイトとは、AIが学んだ結果を記した数値のまとまりのことで、これを公開します。研究や競争を広げる点は「分配」(情報や権限をだれに配るか)、配ったあとの回収や安全策を保つことが難しい点は「更新可能性」(外れたときに撤回できるか)の物差しで読めます。

スケッチブックに鉛筆で描いたデッサン。木の机に置かれた古い真ちゅうの天秤。左の皿に鍵が一つ、右の皿にボタンやビーズの小さな山。机の上に、皿からこぼれた赤い玉が一つ転がっている
対策を比べるときは、得られるものと、失いうるものの両方を見ます。赤い一粒のように、取りこぼすものも出ます。

どの対策にも、交換条件があります。

注意

証拠は、何を守るかまでは決めてくれない

安全、新しい技術、プライバシー、競争、人の自律のうち、どれを重くするかは、価値判断です。

証拠は、対策の効果や負担を調べる助けになります。ただし、守る価値を自動で決めてはくれません。

最後に、この回の考え方を使ってみましょう。説明のために作った、架空の場面です。

セルフチェック

1. ある国が「一定以上の計算量で作られたAIだけを対象にする規則」を作りました。しかし、規則には、その線引きが実情に合わなくなったとき、見直したり、影響を受けた人を救済したりする手順が書かれていません。三つの物差しのうち、いちばん弱いのはどれでしょうか。

今日のまとめ

  • AIへの備えは、技術・組織運用、公共ガバナンス、社会的レジリエンスの三つの層を重ねて作る
  • NIST AI RMFは任意の枠組み、EU AI法は守る義務のある法律、日本のAI法は推進を軸に調査と指導・助言を置く。同じ強さで読まない
  • 対策は、有効性、分配、更新可能性の三つの物差しで見比べる

次の回は、この問いから始めます。次に「AGIを達成した」という発表を見たら、何を確かめればよいのでしょうか。

参考資料

一次資料を表示4件

このレッスンは役に立ちましたか?