メインコンテンツへスキップ
レッスン 11 / 14|34分で読めます

人に見せる前に、線を引く

育ててきた物を誰かに渡す前に、出していいものと出してはいけないものの線を自分で引く。あわせて、AIの答えに引きずられない判断の線も引きます。公開の手前に関所を作る回です。

人に見せたい。 でも、変なものや危ないものは出したくない。

前回までで、あなたが育ててきた物は、自分で使える道具になりました。 記録が残る。 推移が見える。 見た目も少し整ってきた。

ここまで来ると、自然に湧いてくる気持ちがあります。 これ、人に見せたい。 同じ研修医に渡してみたい。 友達に触ってもらいたい。 家族に「これ作った」と見せたい。

でも、渡そうとした瞬間に、手が止まります。 待てよ。 これ、外に出して大丈夫なやつだっけ。

変なものを出して恥をかきたくない。 危ないものを出して、誰かに迷惑をかけたくない。

この気持ちは、正しい本能です。 今日はその本能に、ちゃんとした手順を持たせます。

見せたい。でも、線がまだ引けていない

自分の頭の中では、たぶん大丈夫と思っている。 でも、それを確認する手順を、まだ持っていない。

これが今日の痛点です。 見せたい気持ちはある。 でも、何を出して、何を出さないかの線を、自分で引けない。

だから今日は、公開そのものより手前を扱います。 外に出していいかを自分で判定する。 その線引きを身につけます。

この線引きは、私たち医療職にはなじみのある動作です。 退院サマリを書くとき、何を書いて、何を伏せるか。 紹介状を書くとき、相手に必要な情報だけを渡す。 私たちは毎回それを判断しています。

公開も同じです。 手元の物を、外に出す行為です。 何を出して何を伏せるか、線を引くのは人間の仕事です。

視点

この線は、人間にしか引けない

AIにとって、患者を特定できる情報も、自分の鍵も、ただの文字列です。これは出さない、これは出していい。その判断は、出していい情報と出してはいけない情報の意味がわかる人間にしか下せません。安全境界の最終判定だけは、AIに委ねず人間が握ります。

今日のゴールと、任せ方

今日身につける普遍スキルは、3つです。

  1. 出していいものと、出してはいけないものを分ける。
  2. 公開前チェックリストを作り、自分の物に当てる。
  3. PHIと鍵の混入ゼロを、自分で判定する。

弱点ドリルを育てている人なら、今日の具体例はわかりやすいはずです。 ドリルのコードのどこかに、テスト用に書いた鍵やパスワードが残っていないか。 うっかり個人を特定できる情報が紛れていないか。 他人が勝手に記録を書き換えられないか。 これを自分の目で判定するのが、今日のゴールです。

別の物を育てている人も、形は同じです。 ゲームなら、自分のアカウントの鍵が混じっていないか。 自分用のアプリなら、人に見られて困る個人的なメモが残っていないか。 出してはいけないものは題材で変わりますが、線を引く動作は変わりません。

今日の任せ方の目盛りは、中の左に置きます。

コードを書くのも、危ない箇所を探すのも、AIにかなり任せていい。 そこは右寄りでいい。

でも、何を外に出して、何を出さないかという安全境界。 ここだけは、人間が握ります。 AIには委ねません。

公開は8割で動く。でも残り2割でつまずく

本編に入る前に、ひとつだけ予告を置きます。

これから公開まで進みますが、正直に言います。 公開は、8割はすんなり動きます。 でも、最後の2割で、たぶんつまずきます。

Karpathyさんがよく話している感覚に近いです。 デモを動かすのは簡単です。 でも、ちゃんと人に渡せる形にするところで、急に細かい接着が増えます。

次回、育てた物をURLにして外に出します。 そこで多くの人が引っかかるのが、鍵の置き場所です。

自分のPCの中では動いていたのに、外に出した瞬間に動かなくなる。 理由は、鍵をどこに置くかという接着の部分です。 .envという、鍵をしまう場所の設定が関わってきます。

ここは次回ちゃんとやります。 今のうちに知っておいてほしいのは、最後の2割でつまずくのは異常ではなく、普通だということです。

つまずいて、自分はセンスがないと思う必要はありません。 みんなそこでつまずきます。

ステップ1。出していいもの、出してはいけないものを分ける

まず、境界を見える形にします。

今日の線は、かなりはっきりしています。 学習用のダミーや、自分の学習記録から出した計算結果は、外に出してよい側です。 患者情報、鍵、院内情報は、出さない側です。

出していいものと出してはいけないものの境界図。学習用ダミーと計算結果は出してよい側、患者情報、鍵、院内情報は出さない側に分かれている
公開前にまず線を引きます。学習用ダミーと計算結果は出してよい側。患者情報、鍵、院内情報は出さない側です。

ドリルなら、出してよいのは架空の問題、架空の日付、架空の点数、集計結果です。 画像や本文に出す例も、PHIを含まないダミーにします。

出してはいけないのは、患者さんを特定できる情報です。 氏名、ID、連絡先、具体的な受診情報。 それに加えて、鍵、パスワード、接続文字列、院内だけで使う情報です。

別の物なら、ここを置き換えます。 家計簿なら、公開してよいのはダミーの支出例です。 出してはいけないのは、実名の店名、口座、カード情報です。 ゲームなら、公開してよいのはスコアやルールです。 出してはいけないのは、APIキーや個人アカウントの情報です。

迷ったら、出さない。 これが今日の第一原則です。

ステップ2。コードを見る前に、3つだけ書き出す

いきなりコードを全部見ようとすると、疲れます。 だから、見る項目を先に3つに絞ります。

今日見るのは、これだけです。

  1. 鍵やパスワードが、コードに直書きされていないか。
  2. 個人を特定できる情報を、保存または表示していないか。
  3. 公開後に、他人が勝手に書き換えられないか。

この3つは、公開前のタイムアウトです。 手術前にいったん全員で確認するのと同じです。

項目が決まっていれば、毎回ゼロから悩まなくて済みます。 確認は地味ですが、数十秒で済む確認にできます。

手を動かす

あなたが育てている物に向けて、公開前チェックリストを3行だけ書いてください。

ドリルなら、鍵、PHI、書き換え防止です。 別の物なら、PHIの部分を、人に見られて困る個人情報に置き換えます。

ここでは直しません。 まず、何を見るかを言葉にします。

ステップ3。AIに公開前チェックリストを作らせる

ここからは、頼む、出る、検証する、直す、というループで進めます。

まず、外に出す前に確認すべきことを、AIにチェックリストにしてもらいます。 注文書を書く感覚です。 診療の指示出しと同じで、何を確認したいかを具体的に書きます。

私が送った指示は、こうです(右上のボタンでコピーできます)。

この物をインターネットに公開する前に、確認すべき安全項目をチェックリストにしてください。
特に、1. パスワードや鍵がコードに直接書かれていないか、2. 個人を特定できる情報を保存または表示していないか、3. 公開後に他人が記録を勝手に書き換えられる状態になっていないか。
この3点は必ず入れてください。

すると、チェックリストの形になって返ってきます。

でも、ここでAIが作ったから正しいとは考えません。 自分の目で見ます。

検証の観点は、いつもの3つです。 中身は正しいか。 使い方に合っているか。 安全か。

今日は3つ目が主役です。 鍵や個人情報が混じっていないかを、自分で判定します。

ステップ4。チェックリストを、自分の物に当てる

AIに作らせたチェックリストを、あなたが育てている物に当てます。

見たい画面は、こういう状態です。 3点にチェックが入り、最後にPHIと鍵の混入ゼロという判定が出ている。 もちろん画像内の情報は、PHIを含まないダミーです。

公開前チェックを走らせる前の実画面。送信予定メモと安全チェック項目が並んでいる
まず、送信前のメモとチェック項目を同じ画面で見ます。ここからPHI、院内情報、鍵が混じっていないかを確認します。
PHI、院内情報、APIキーを送信前にチェックする実画面です。画面内の文はすべてダミーです。
送信予定メモに患者氏名、ID、APIキーが含まれず、.env.localがGit管理外であることを確認している実画面
公開前の関所は、AIの返答ではなく自分の確認として通します。PHIと鍵がないことを画面で見ます。

1つ目は、鍵です。 接続キーやパスワードが、コードに直書きされたまま出ていないか。 これが漏れると、保存先や自分のアカウントを他人にいじられます。

2つ目は、個人情報です。 弱点ドリルなら、これは設計で塞いであるはずです。 保存も表示も、自分の学習データだけ。 名前やIDがどこかに残っていないか、最終確認します。 別の物なら、人に見られて困る情報が混じっていないかを同じ目で見ます。

3つ目は、書き換え防止です。 公開すると、知らない人もアクセスできます。 自分の記録を他人に勝手に消されたり書き換えられたりしない設定になっているか。 これは保存先の権限の話です。 細かい設定は、次回以降の手順でも扱います。

手を動かす

あなたが育てている物のコードを開いて、鍵と個人名が外に見える場所に混じっていないか、1か所だけ確認してください。

やることはひとつです。 探して、無いことを確かめる。

直すのは、まだです。 今は見るだけです。

混入が無いと確認できたら、次に進みます。

ステップ5。AIに監査させる

もうひとつ、強力なやり方を紹介します。 AI自身に、自分のコードを点検させるのです。

私が送った指示は、こうです(右上のボタンでコピーできます)。

このプロジェクトを公開するとして、セキュリティ上あぶないところはありますか。
鍵の漏れ、個人情報、権限設定を中心に、見つかった問題と直し方を教えてください。

AIに監査させること自体は、かなり有効です。 人間が見落とす箇所を拾ってくれます。

ただし、ここで終わりにしません。 AIの監査も100点ではないからです。

ステップ6。AIの「安全です」を疑う

ここで、ひとつ意地悪をしてみます。

仮にAIが、特に問題ありません、安全ですと返してきたとします。 実際、こう返ってくることがあります。

でも、私がさっきコードを見たとき、テスト用に書いた仮のパスワードが1行、コメントに残っていました。 AIはそれを、コメントだから無害と見逃した。

ここが検証の筋力です。 AIが大丈夫と言っても、自分の目で見ると見落としが見つかる。

研修医が、鑑別はこれで大丈夫ですと言ってきたとき、私たちは鵜呑みにしませんよね。 もう一回、自分の目で当てます。 それと同じ動作です。

AIは下書きです。 最後に線を引くのは人間です。 これは公開という場面でこそ、外せません。

手を動かす

さっき作った公開前チェックリストを、あなたが育てている物に1周だけ当ててください。

確認するのは3つです。 鍵、個人情報、書き換え防止です。 AIの大丈夫を信じずに、自分の目で見ます。

やることはひとつです。 個人情報と鍵の混入がゼロかどうか、自分で判定を出す。

ゼロだと自分で判定が出せたら、次に進みます。

まだ甘い箇所が見つかっても、それは収穫です。 今どこが甘いかを知れたら、今日は十分です。

問い

つまずいたら

この回の作業で起きがちな詰まりと、その抜け方です。

  • AIが「特に問題ありません、安全です」とだけ返してきて手応えがない → そのまま信じず、鍵の漏れ・個人情報・権限設定の3点それぞれについて見つかった箇所を挙げてくださいと、観点を一つずつ指定して聞き直す。
  • 鍵やパスワードがコードのどこにあるのか自分では見つけられない → AIに監査を頼むときは、鍵やパスワードや接続文字列が書かれている行を、コメント内も含めて全部、ファイル名と行で挙げてくださいと頼み、出てきた場所を自分の目で1か所ずつ確かめる。
  • 監査を頼むとき、自分の鍵やパスワードまで貼ってしまいそうになる → 鍵やパスワードの中身はAIに貼らない。エラー文や状況、何の設定で詰まっているかという事実だけを貼って聞く。

ステップ7。公開していいか、言葉にする

最後に、判定を言葉にします。

私のドリルなら、こうです。

  1. 鍵やパスワードは、公開コードに直書きされていない。
  2. PHIは、保存も表示もされていない。
  3. 公開後に、他人が勝手に記録を書き換えられない。

この3つにうなずけたら、公開の前に進めます。

もし一つでもうなずけないなら、まだ公開しません。 それは失敗ではありません。 公開前に止まれたということです。

ここで止まれる人が、次に安心して公開できます。

もう一本の線。AIに引きずられない

ここまでは、情報の線でした。 鍵とPHIの線です。 今日はもう一本、判断の線を引きます。

公開の前に引くもう一本の線の図。左は止め方(4拍子で一度止める、通すのは人間が決める)、右は引きずられ方(自動化バイアス、迎合)で、真ん中に判断のノードがある
公開の前に引く、もう一本の線。AIの答えに引きずられないための関所です。

AIの答えに、人はつい引きずられます。 もっともらしい答えが出ていると、疑うより通したくなる。 これは意志の弱さではありません。 自動化バイアスと呼ばれる、人にもともと備わった引っぱられ方です。

やっかいなのは、慣れても消えないことです。 医学誌のNEJM AIが2025年に出した試験では、AIをしっかり訓練した医師でも、AIが間違った答えを添えると、診断の正確さが落ちました。 だから、心がけではなく手順で止めます。 それが、この講座でやってきた、頼む、出る、診る、直す、の4拍子です。

SourceARTICLE
AIの臨床利用に関する検討委員会 答申(日本医師会)

AIは人の判断を助ける拡張知能であって、医師を置き換えるものではない。最終責任は医師にある、という日本医師会の整理です。

Web
med.or.jp/dl-med/teireikaiken/20260415_3.pdf

AIは、あなたに合わせてくる

もう一つの引きずられ方が、迎合です。 「この解説で合っていますよね」と同意を求めると、AIは中身が違っても「はい」と合わせてくることがあります。

AIとの会話画面。ユーザーが『作ったクイズの3問目、正解は②で合っていますよね?』と聞き、AIが『はい、②で合っています。よく作れていますね。』と同意している。下に、本当の正解は③でAIは前提に合わせただけという注記
正解は③なのに、AIは「②ですよね?」という前提に合わせて「はい」と返しています。AIが賛成したから正しい、は成り立ちません。

研修医に「この方針で大丈夫ですよね」と聞けば、自信がなくても「大丈夫です」と言ってしまう。 あれと同じです。 だから私たちは、同意を求めるのではなく、自分で当て直します。

手を動かす

あなたが育てている物で、わざと事実と違う前提をAIに渡してみてください。 「これで合っていますよね」と、同意を求めてみます。

AIがそのまま「はい」と合わせてきたら、それが迎合です。 大事なのは、その前提の誤りに、あなたが先に気づけるかどうかです。 AIの「はい」を、自分の判断で一度止める。 ここで止められたら、判断の線が引けています。

視点

情報の線と、判断の線

出していい情報かどうかの線(鍵とPHI)と、この答えを通していいかどうかの線(AIを鵜呑みにしない判断)は、別ものです。AIは答えを出しますが、通すかどうか、そして最後に責任を持つのは人間です。医療なら、その人間は医師です。

自分に問いかけてみる

ここで、2つ問いを置きます。 読みながら、自分の答えを一度考えてみてください。

ひとつ目です。 AIに監査させたら、もう自分で見なくていいんじゃないか。

答えは、さっき見たとおりです。 ダメです。 AIは見落とします。 テスト用のパスワードを、コメントだからと素通りしました。

AIの監査は便利な下書きですが、最終判定ではありません。 出していい情報か、出してはいけない情報か。 それを判断できないAIに、外に出すかどうかの最終決定は渡せません。 ここが今日いちばん大事なところです。

ふたつ目です。 公開のたびにこの確認、毎回やるのか。 面倒ではないか。

正直、毎回やります。 でも、3項目だけです。 鍵、個人情報、書き換え防止。

手術前のタイムアウトと同じで、項目が決まっていれば、確認は数十秒で終わります。 面倒だからやらない、ではありません。 決まっているから一瞬で終わる。 これなら続けられます。

Before / After

今日の前は、こうでした。

人に見せたい。 でも、何を出して何を出さないか、線が引けない。 見せる手前で止まっていました。

今日の後は、こうです。

自分の物を開いて、鍵、個人情報、書き換え防止の3点を、自分の目で通せる。 これは公開していい。 ここはまだダメ。 それを自分で判定できる。

これで、外に出していいかどうかを、自分で判定できるようになりました。 そして、何を出さないかを、言葉にできるようになりました。

補足

今日持って帰るもの

公開の前に、鍵、個人情報、書き換え防止の3点を、自分の目で当てる。AIの「安全です」は下書きで、最終判定ではありません。PHIと鍵の混入ゼロを自分で言い切れたら、はじめて先に進めます。

卒業ゲート

今日の卒業条件は、四つです。

  1. 出していいものと、出してはいけないものを自分の題材で分けられた。
  2. 公開前チェックリストを、鍵、個人情報、書き換え防止の3点で当てられた。
  3. PHIと鍵の混入がゼロだと、自分で判定できた。
  4. AIの答えや同意に引きずられず、通すかどうかを自分で決められた。

この四つができていれば、次の公開に進めます。

大事なのは、AIに安全ですと言わせることではありません。 自分で、ゼロだと判定できることです。

安全ライン

公開の手前は、いちばん気を張る帯になります。

注意

ここだけは外さない

医療を題材に弱点ドリルを育てているなら、これは学習用のドリルです。患者情報は入れません。公開する前に、PHIと鍵の混入がゼロかどうかを、自分で判定します。そして本番導入は、必ず施設のルールを確認してください。

一度インターネットに出したものは、自分の手を離れます。 だから、出す前に確認する。 怖がって何もしないのでも、雑に出すのでもありません。 確認して、出す。

これができる人だけが、安全にAIの便利さを現場に持ち込めます。

理解度チェック

セルフチェック

1. AIに「セキュリティは安全です」と言われたら、自分での確認は省いてよいですか。

2. 公開前に自分の目で当てる3点は、どれですか。

3. あなたが「この解説で合っていますよね」と聞くと、AIが「はい、合っています」と同意してきました。どう受け取りますか。

次回へ

今日で、線は引けるようになりました。 何を出して、何を出さないか、自分で判定できる。

線が引けたら、次に湧いてくる気持ちは、もう止まりません。 もう公開したい。 URLにして、友達や同僚に渡したい。

判定はできた。 でも、まだ外に出していない。 URLになっていない。

次回、いよいよ公開ボタンを押します。 Vercelという道具で、育てた物をURLにして、人に渡せるようにします。