メインコンテンツへスキップ
9 / 24|4分で読めます

第9章 ブレーキを設計する

自由を広げるほど、止め方が要る。不可逆と外部送信には固いブレーキを。

まず結論:自由を広げるほど、止め方が要る

ここまで、AIにどんどん任せてきた。記憶を持たせ、技能を仕込み、勝手に発火させた。

任せる範囲が広がると、その分、事故ったときの被害も広がる。だからOSには、アクセルと同じくらい、ブレーキの設計が要る。

私の方針は、はっきりしている。アクセルは広く、ブレーキは固く

アクセル側:調べる・作るは、ほぼ自動で許す

私はAIに、かなり広い自由を渡している。調べ物、ファイルの読み書き、コマンドの実行、ブラウザの操作。この辺りは、いちいち許可を求めさせず、自動で進ませる。

ここで毎回止まっていたら、速さが死ぬ。やり直せる作業は、どんどん任せていい。

ブレーキ側:三つの安全装置

問題は、やり直せない操作だ。ここにだけ、固いブレーキをかける。私は三つの装置を組んである。

装置役割
凍結触られたくない大事なファイルに鍵をかけ、AIが書き換えられないようにする
権限何を自動で許し、何を許さないかを、あらかじめ線引きしておく
事前確認不可逆な一手の前で、必ず人間に「やっていいか」を聞かせる

この三つで、「広い自由」と「重大な事故の防止」を、両立させる。

鉄則:不可逆と外部送信は、必ず人間が踏む

線引きの基準は、覚えやすい一つに集約できる。

取り返しがつくか、つかないか。 そして、自分の中だけで完結するか、外に出ていくか。

  • 消す、本番に公開する、メールを送る、お金を動かす ── これは必ず、人間が最終ボタンを押す
  • 調べる、下書きする、整える ── これは任せていい

AIがどれだけ「大丈夫です」と言っても、不可逆と外部送信だけは、自分の指で確認する。ここを規律にしておくと、安心して、残りの全部を任せられる。

持ち帰り

  • 自分の仕事で「やり直せない操作」を書き出す(削除・公開・送信・支払い)
  • それ以外は、思い切って、任せる範囲を広げる
  • 「やり直せない/外に出る」一手の前では、必ず自分が確認する、と決める

次章は、ブレーキの効いた安全な土台の上で、こちらが起動すらしなくても勝手に回る層を、作る話だ。