責任と法的問題

はじめに — AIが「危険な治療」を推奨した日

2018年、内部文書によりIBM Watson for Oncologyが安全でない不正確な治療推奨を複数のケースで行っていたことが明らかになりました。ある事例では、出血傾向のあるがん患者に対して出血リスクを悪化させる薬剤を推奨していました。

しかし、この問題が複雑なのは「誰が責任を負うのか」が明確でないことです。Watson for Oncologyを開発したIBMか？ 推奨を採用した医師か？ システムを導入した病院か？ 従来の医療では「医師が最終判断を行う」という原則が明確でしたが、AIが診断や治療の推奨に関与する場面が増えるにつれ、責任の所在はますます複雑になっています。

責任の所在 — 誰が責任を負うのか

医師の責任

たとえAIが推奨を行っても、最終的な診断・治療の決定は医師が行います。したがって、原則として最終的な責任は医師にあります。

ただし、以下の点が問題になります:

• AIの推奨を盲目的に受け入れた場合: 注意義務違反（自動化バイアス）
• AIの推奨を根拠なく無視した場合: AIが正しく、医師の判断が誤りだった場合の責任
• AIの限界を理解していなかった場合: 適切な使用範囲を超えた使用

AI開発者の責任

AIに欠陥があり、それが患者に危害を与えた場合、開発者は製造物責任を負う可能性があります。

欠陥の種類:

• 設計上の欠陥: アルゴリズム自体に問題がある（バイアス、不適切な学習データ等）
• 製造上の欠陥: ソフトウェアのバグ、データ処理のエラー
• 警告上の欠陥: AIの限界やリスクについて不適切または不十分な説明

医療機関の責任

医療機関には、AIを適切に選定・導入・運用する組織的責任があります:

• AIの性能と限界を理解した上での導入判断
• 医療従事者への適切なトレーニングの提供
• AIの使用状況の監視と問題への対処
• 患者へのAI使用に関するインフォームドコンセントの確保

ケーススタディ: IBM Watson for Oncology

医療過誤と製造物責任

医療過誤（Medical Malpractice）の要件

医療過誤が認められるためには、以下の4要件をすべて満たす必要があります:

1. 注意義務の存在: 医師と患者の間に治療関係がある
2. 注意義務の違反: 医師が標準的な医療水準を満たさなかった
3. 因果関係: 注意義務の違反が患者の危害を引き起こした
4. 損害: 患者が実際に危害を受けた

製造物責任（Product Liability）

AIが「製品」として扱われる場合、製造者は欠陥に対して無過失責任を負う可能性があります。つまり、開発者に過失がなくても、製品に欠陥があれば責任を問われます。

比較過失（Comparative Negligence）

AI関連の医療事故では、医師と開発者の双方に責任がある場合があります。各当事者の過失の程度に応じて責任を分担する比較過失の原則が適用されることがあります。

インフォームドコンセント

AIを使用した診療では、従来のインフォームドコンセントに加えて、以下の情報を患者に提供する必要があります:

新たな法的課題

AIの法的地位

現在のところ、AIは法的な人格を持ちません。AIは責任を「負う」ことができず、責任は常にAIを開発・使用・管理する人間や組織にあります。

しかし、自律型AIの普及に伴い、「AIの法的地位をどう定義するか」は国際的な議論の対象です。

アルゴリズムの透明性 vs 企業秘密

患者の安全のためにはAIの判断根拠を開示すべきですが、企業秘密（知的財産）の保護も重要です。現在検討されている折衷案:

• 規制当局のみがアルゴリズムの詳細を審査し、一般には性能データと限界を公開
• モデルカードによる標準的な情報開示フォーマットの活用
• 説明可能AI技術により、内部構造を公開せずに判断根拠を提示

継続的学習とバージョン管理

AIが継続的に学習して性能が変化する場合、いつの時点のAIに対して責任を問うかが課題になります。バージョン管理の徹底と、重大な変更時の再申請が重要です。

日本の法的枠組み

医師法と医療AI

日本の医師法第17条は「医師でなければ、医業をなしてはならない」と規定しています。AIが自律的に診断を行うことは、現行法では「医業」に該当する可能性があり、医師の監督下での使用が原則です。

製造物責任法（PL法）

日本の製造物責任法は「製造物」を「製造又は加工された動産」と定義しています。ソフトウェア単体が「動産」に該当するかは議論があり、AI医療機器が製造物責任法の対象となるかは法解釈が確立していません。

まとめ

医療AIにおける責任と法的問題は、技術の進化とともに複雑化しています。Watson for Oncologyの事例は、AIの推奨を批判的に評価せず受け入れることの危険性を示しました。

現在の法的枠組みでは、最終的な責任は原則として医師にあり、AI開発者は製造物責任を、医療機関は組織的責任を負います。しかし、自律型AIの普及、AIの法的地位、アルゴリズムの透明性と企業秘密のバランスなど、既存の法的枠組みでは対応しきれない課題が山積しています。

次のレッスンでは、臨床試験におけるAIの使用について学びます。