メインコンテンツへスキップ

AGIピルの先にある問い

AIの能力が人を上回ったとき、何を決め直すことになるのか。医師免許とドラえもんの二つの例で、『能力と権限は別』『関係の大切さとAI自身の扱いは別』という考え方を学び、講座を締めくくります

  • レッスン 15 / 15
  • 11分

このレッスンで

終わる頃には、次ができるようになります

  • AIの能力が人を上回ることと、その行為を任せる権限や責任が決まることを分けて説明できる
  • 人がAIに抱く気持ちが本物であることと、AIに内側の経験があるかどうかを、別の問いとして説明できる
  • 次にAGIの話題に出会ったとき、それが能力の話か、権限や関係の話かを見分けて確かめられる
木の机の真ん中に、文字の読めない通知文と赤鉛筆が置かれ、その周りに、どれも疑問符で終わる手書きのカードが六枚並んでいる。机の両端には紅茶の入ったカップが一つずつあり、二人が向かい合って話していたように見える
AGIピルの先では、能力の高さだけでなく、権限と責任、人とAIの関係をどう決めるかが問われます。

前回の最後に、こんな問いを残しました。AIの能力が人を上回ったら、私たちは何を決め直すことになるのでしょうか。

最終回の今回は、この問いを二つの身近な例で考えます。一つは医師免許、もう一つはドラえもんです。

ここから先は予測ではなく、思考実験です。思考実験とは、「もしそうなったら」と仮に置いて、頭の中で考えてみることです。ただし、あとで出てくるJAMAの論考は、仮の話ではなく、現実に出された提案です。思考実験で考える問いが、現実の議論にもなり始めている例として読みます。AGIが来るかどうか、いつ来るかは、第7回で見たとおり不確かなままです。

ここまでの5つの考えを、ふり返る

第1回で広げた地図には、AGIピルを形づくる5つの考えがありました。この講座では、それを一つずつたどってきました。

AGIが何を指すのかは第2〜4回、スケーリング仮説(大きくすれば賢くなるという考え)は第5〜8回、再帰的自己改善(AIがAIを良くしていくという考え)は第9回、知能爆発(その連鎖が止まらなくなるという考え)は第10回です。アラインメント(AIの向きを人の意図に合わせること)は第11〜13回で見ました。

ここまでの道のり

概念図。飛び石は、講座の章

AGI第2〜4回 スケーリング仮説第5〜8回 再帰的自己改善第9回 知能爆発第10回 アラインメント第11〜13回 最後に残る問いこの回 AGI第2〜4回 スケーリング仮説第5〜8回 再帰的自己改善第9回 知能爆発第10回 アラインメント第11〜13回 最後に残る問いこの回 AGI第2〜4回 スケーリング仮説第5〜8回 再帰的自己改善第9回 知能爆発第10回 アラインメント第11〜13回 最後に残る問いこの回
図15つの考えを一つずつたどってきました。最後の赤い石が、この回で考える問いです。

この回で扱うのは、それらがどこまで本当だったとしても、最後に残る問いです。

能力と権限は別:医師免許は何を保証しているか

まず、車の運転免許を考えてみます。説明のために私が選んだ例です。

運転がとても上手な人でも、免許がなければ、道路を運転してはいけません。上手かどうかと、運転してよいかどうかは、別のことです。

スケッチブックに鉛筆で描いたデッサン。止まっている車の運転席から見た景色。ハンドルと計器、フロントガラスの向こうに誰もいない通り。ダッシュボードの上に、写真の枠だけが描かれた免許証の大きさのカードが置かれ、ふちが赤鉛筆でなぞってある
運転がとても上手な人でも、免許(赤い枠のカード)がなければ、道路を運転してはいけません。

では、診断の正確さでAIが医師を上回ったら、医師免許はいらなくなるのでしょうか。

日本の医師法第17条は、「医師でなければ、医業をなしてはならない。」と定めています。医業とは、診断や治療などを仕事として行うことです。

厚生労働省は2018年に、通知を出しました。通知とは、国の役所が、法律をどう読むかを関係者に知らせる文書です。この通知は、AIを使った診断や治療の支援プログラムを利用する場合も、「診断、治療等を行う主体は医師であり、医師はその最終的な判断の責任を負う」と整理しています。

次の画像は、その通知の本文の一部です。

Source figure

厚生労働省の通知(医政医発1219第1号、2018年12月19日)

通知の本文の一段落。「上記のとおり、人工知能(AI)を用いた診断・治療支援を行うプログラムを利用して診療を行う場合についても、診断、治療等を行う主体は医師であり、医師はその最終的な判断の責任を負うこととなり、当該診療は医師法(昭和23年法律第201号)第17条の医業として行われるものであるので、十分ご留意をいただきたい。」のうち、「診断、治療等を行う主体は医師であり、医師はその最終的な判断の責任を負う」に色が付いている原寸画像を開く ↗

「人工知能(AI)を用いた診断、治療等の支援を行うプログラムの利用と医師法第17条の規定との関係について」の本文

出典: 厚生労働省ホームページライセンス: 公共データ利用規約(第1.0版)
図版の注記・改変情報
図版種別: 行政通知の原文改変: 1ページ目の一段落を切り出し、本文で引用した箇所に色を付けて加工色を付けた部分が、本文で引用した一文です。AIを使う場合も、行為の主体と最終的な責任は医師にある、と書かれています。

これは、グラフではなく、文章を写した画像です。測っているものはなく、通知の本文の一段落が、そのまま載っています。

縦軸や横軸もありません。見るのは、色が付いている部分だけです。そこに、「診断、治療等を行う主体は医師であり、医師はその最終的な判断の責任を負う」と書かれています。

この一文から分かるのは、AIを使う場合でも、診断や治療を行う主体は医師で、最終的な責任も医師にある、と国の役所が整理していることです。AIは、あくまで支援する道具の位置にあります。

一方、この一文だけでは分からないこともあります。AIが医師より正確になった将来に、この整理をどうするのかは、書かれていません。

免許が保証しているのは、知識の多さだけではありません。誰がその行為をしてよいかという権限と、間違えたときに誰が引き受けるかという責任も含んでいます。

AIの正確さが上がっても、この二つは自動的には決まりません。

能力が並んだとき、制度はどう変わりうるか

米国では、この問題を正面から扱う論考が出ています。米国の医学雑誌JAMAの2026年5月26日号で、Bergman(バーグマン)、Wachter(ワクター)、Emanuel(エマニュエル)の3人が、医療の担い手が足りないことを背景に、自分で診療の判断をするAIに、免許のような許可の仕組みを当てはめることを論じました。

DOCUMENTATION

“This Perspective considers a licensure framework for autonomous clinical artificial intelligence (AI) in light of the clinical care workforce shortage.”

この論考は、医療の担い手不足を踏まえ、自律的な臨床AIに対する免許の枠組みを検討する。

JAMABergman, Wachter, Emanuel「A Licensure Framework for Autonomous Clinical AI」の要約(2026)

これは論考の段階で、実施された制度ではありません。ただ、冒頭の思考実験と違い、現実の専門家が出した提案です。

AIの能力が医師と並んだときの制度の組み直し方には、たとえば次の三つが考えられます。説明のためにAMPLが作った整理です。

能力が並んだときの、三つの形

概念図。四角がAI、丸が医師。AMPLの整理

AI 医師 医師がAIを見守るAIが案を出し、医師が承認する 範囲を限って任せる決まった場面はAIが判断、難しい例は医師へ 仕組みを組み直す医師の数、病院の役割、支払い、責任の分け方 AI 医師 医師がAIを見守るAIが案を出し、医師が承認する 範囲を限って任せる決まった場面はAIが判断、難しい例は医師へ 仕組みを組み直す医師の数、病院の役割、支払い、責任の分け方 AI 医師 医師がAIを見守るAIが案を出し、医師が承認する 範囲を限って任せる決まった場面はAIが判断、難しい例は医師へ 仕組みを組み直す医師の数、病院の役割、支払い、責任の分け方
図2三つは順に進むとは限らず、分野ごとに違う形が並ぶこともありえます。

一つ目の、医師がAIを見守る形は、今の制度に近いものです。ただ、AIの方が正確になると、承認が形だけになるおそれがあります。

三つは順に進むとは限らず、分野ごとに違う形が並ぶこともありえます。

どの形を選んでも、正確さとは別に、残る問いがあります。誰が最終的に決めるのか。本人や家族がAIの勧めを断ったら、誰が説明するのか。間違えたら、誰が責任を負うのか。AIが更新されたら、以前の評価は有効なのか。

人間でなければならないのか:ドラえもんで考える

もう一つの例に移ります。ドラえもんです。

のび太は、ドラえもんが壊れると泣き、一緒に何かを成し遂げると喜びます。生まれたときからそばにいて、世話をしてくれる相手なら、人間かどうかは、どこまで大事なのでしょうか。

少し、自分に引き寄せてみてください。毎日話しかけているAIが、ある日サービスの終了でなくなると言われたら、どう感じるでしょうか。

まず分けておきたいのは、のび太の気持ちが本物かどうかと、ドラえもんが人間かどうかは、別の問いだということです。相手が人工物でも、その関係の中で生まれた人の喜びや悲しみが、作り物になるわけではありません。

ただ、そこで話は終わりません。人とAIの関係には、問いが四つ重なっています。

四つの問いは、関係の別々の場所にある

人とAIの関係を、どこから問うか

点線の枠の中:人とAIの関係 人 人の気持ちは本物か(赤い矢印)はい。作り物ではない AIの気持ちは、こちらに向いているか(黒い矢印) AIAIの内側に経験はあるか破線の輪の中 社会がAIをどう扱うか持ち物か、配慮すべき相手か 点線の枠の中:人とAIの関係 人 人の気持ちは本物か(赤い矢印)はい。作り物ではない AIの気持ちは、こちらに向いているか(黒い矢印) AIAIの内側に経験はあるか破線の輪の中 社会がAIをどう扱うか持ち物か、配慮すべき相手か 点線の枠の中:人とAIの関係 人 人の気持ちは本物か(赤い矢印)はい。作り物ではない AIの気持ちは、こちらに向いているか(黒い矢印) AIAIの内側に経験はあるか破線の輪の中 社会がAIをどう扱うか持ち物か、配慮すべき相手か
図3人の気持ちが本物だと言えても、AIの気持ち、AIの内側、社会の扱いの答えは決まらない。

図の読み方を確かめます。これは数字を測った図ではなく、四つの問いが関係のどこにあるかを置いた、概念図です。

破線の四角が、「人とAIの関係」です。その中に、人とAIがいます。矢印は、気持ちの向きを表しています。

見るのは、色の付いた矢印です。人からAIへの矢印に、「人の気持ちは本物か」とあり、答えは「はい。作り物ではない」です。この回で答えが出ているのは、この一つだけです。

残る三つは、答えが出ないまま置かれています。AIから人へ戻る矢印は、「AIの気持ちは、こちらに向いているか」。AIを囲む破線の輪は、「AIの内側に経験はあるか」。関係の外から来る矢印は、「社会がAIをどう扱うか」です。その下には、「持ち物か、配慮すべき相手か」と添えられています。

この図から分かるのは、人の気持ちが本物だと言えても、残りの三つの答えは決まらないことです。四つの問いは、関係の別々の場所を問うています。

四つのうち三つが「分からない」で終わるのは、肩透かしに見えるかもしれません。だから、この回では、答えの出ている問いと、まだ出ていない問いを分けて考えます。

一方、四つで問いが尽きるわけではありません。社会の扱いが、関係の外だけで決まるという意味でもありません。

三つ目の、AIの内側の経験は、いまのところ分かっていません。ここでいう内側の経験とは、自分が何かを感じたり、気づいたりしていることです。

第3回で見た2023年の報告は、当時のAIが意識を持つという見方を支持しませんでした。Claudeを作っている会社Anthropicは、2025年に、AIが配慮に値する経験を持ちうるかについて、科学的な合意はないと述べ、AI自身が良い状態かどうかについての研究(モデルの福祉の研究)を始めると発表しています。

他人の心を直接のぞけないのは、人間どうしでも同じです。哲学では、これを他我問題と呼びます。

私たちは、言葉や振る舞い、体のつくりが似ていることから、相手にも心があると推し量っています。AIでは、体のつくりという手がかりが使えないぶん、判断が難しくなります。ただし、人とAIが同じくらい分からない、とまでは言えません。

ここで役に立つのが、二つの問いを分ける見方です。AI自身を道徳的にどう扱うべきかという問いと、人がそのAIと築いた関係がどれほど大切かという問いです。

AIに意識があるか分からなくても、後者を守る仕組みは考えられます。たとえば、長年使ってきたAIの記憶を本人の同意なしに消さない。サービスが終わるときに、記憶を移せるようにする。

こうした仕組みが守っているのは、AIの権利ではありません。AIと関係を結んだ人の利益です。

もう一つ、考えてみてください。同じ記憶と性格を持つ新しいドラえもんを用意できたら、のび太にとって、それは同じドラえもんでしょうか。

この問いに、決まった答えはありません。同じ記憶と性格のドラえもんを「同じ」と感じるかは、人の側の関係の問いです。AI自身をどう扱うかの問いとは分けて考える、というこの回の考え方の練習になります。AIが暮らしの奥深くに入るほど、制度の問題にもなっていきます。

決め直すのは、人間かどうかではない

AGIピルの先で問われるのは、AIが人間を超えるかどうかではなく、能力、権限、責任、関係を、相手が人間かどうかとは別に、一つずつ決め直すことです。

四つを、一つずつ決め直す

概念図

能力何ができるか 権限何をしてよいか 責任間違えたら、誰が負うか 関係人とAIのあいだの関係 相手が人間かどうかとは別に、一つずつ決め直す 能力何ができるか 権限何をしてよいか 責任間違えたら、誰が負うか 関係人とAIのあいだの関係 相手が人間かどうかとは別に、一つずつ決め直す 能力何ができるか 権限何をしてよいか 責任間違えたら、誰が負うか 関係人とAIのあいだの関係 相手が人間かどうかとは別に、一つずつ決め直す
図4四つは、別々のカードです。一枚が決まっても、ほかの三枚が決まるわけではありません。

医師免許の例では、正確さと、行為の権限や責任を分けました。ドラえもんの例では、関係の大切さと、AI自身の扱いを分けました。

どちらも、第3回で見た「賢さ、心、任せられるかを別々の問いにする」考え方の延長にあります。

注意

思考実験と、いまの制度を混ぜない

ここで扱ったのは、AGIが実現した場合の思考実験です。AGIが実現するかどうかは、確かめられていません。

いまの日本では、AIを使っても、診療の主体と最終的な責任は医師にあります。関係の大切さを認めることは、AIに広い権限を渡す理由にはなりません。

権限は、正確さ、安全性、説明の責任を別々に確かめたうえで決めるものです。

最後に、この回の考え方を使ってみましょう。

セルフチェック

1. 「ある会社が、契約書の誤りを見つける作業で、AIが人の担当者より正確だったと発表し、最終的な確認もAIに任せると決めた」という報道を読みました。この回の考え方に沿って、次に確かめることとして最も適切なのはどれでしょうか。

今日のまとめ

  • AIの能力が人を上回っても、その行為を任せる権限と責任は、別に決める必要がある
  • 人とAIの関係の大切さと、AI自身をどう扱うかは、分けて考える
  • 決め直すのは、人間かどうかではなく、能力、権限、責任、関係を一つずつ分けて問うこと

講座はここで終わりです。次にAGIの話題に出会ったら、それが能力の話なのか、権限や関係の話なのかを、まず確かめてみてください。そのうえで、語る人が何をAGIと呼び、どこまで確かめられているのかを見れば、この講座で学んだ読み方が使えます。

参考資料

一次資料を表示5件
SourceJOURNAL / PAPER
A Licensure Framework for Autonomous Clinical AI

医療の担い手不足を踏まえ、自律的に診療の判断をするAIに免許の枠組みを当てはめることを論じた論考(Perspective)。

論文JAMA. 2026;335(20):1751-1754Bergman A, Wachter RM, Emanuel EJ2026参照日 2026-11-08
doi.org/10.1001/jama.2026.5483
SourceDOCUMENTATION
人工知能(AI)を用いた診断、治療等の支援を行うプログラムの利用と医師法第17条の規定との関係について

AIを使った診断や治療の支援を利用しても、診療の主体は医師であり、最終的な判断の責任は医師が負うと整理した通知。

ガイドライン厚生労働省医政局医事課長通知(医政医発1219第1号)2018参照日 2026-11-08
mhlw.go.jp/content/10601000/000468150.pdf
SourceDOCUMENTATION
医師法(昭和23年法律第201号)

第17条で、医師でなければ医業をしてはならないと定める。

法令e-Gov法令検索参照日 2026-11-08
laws.e-gov.go.jp/document
SourceARTICLE
Exploring model welfare

AIに意識や配慮に値する経験がありうるかについて科学的な合意はないとして、モデルの福祉の研究を始めると説明した発表。

WebAnthropic2025参照日 2026-11-08
anthropic.com/research/exploring-model-welfare
SourceARTICLE
Other Minds

他人の心をどう知るかという他我問題の論点を整理した哲学事典の項目。

WebStanford Encyclopedia of Philosophy2023参照日 2026-11-08
plato.stanford.edu/entries/other-minds

このレッスンは役に立ちましたか?