なぜ評価が重要なのか
医療画像AIモデルの評価は、研究室での実験結果を臨床に橋渡しする際の最重要ステップです。不適切な評価は過大な期待を生み、患者安全を脅かしかねません。
評価が果たす3つの役割
- 安全性の確認：偽陰性（見落とし）と偽陽性（過剰検出）のバランスを把握する
- 臨床実用性の判断：実際の診療ワークフローに組み込む価値があるか判定する
- 改善方向の特定：どのクラス・どの患者群でモデルが弱いかを明らかにする
注意
「精度99%」の罠
1,000枚の胸部X線のうち異常が10枚しかない場合、すべてを「正常」と予測しても精度は99%になります。不均衡データでは精度（Accuracy）は信頼できる指標になりません。感度・特異度・AUCなど、タスクに適した指標を選ぶことが必須です。
混同行列（Confusion Matrix）
混同行列はモデルの予測結果を4つのカテゴリに整理するための基本ツールです。
| 予測: 陽性 | 予測: 陰性 | |
|---|---|---|
| 実際: 陽性 | TP（真陽性） | FN（偽陰性） |
| 実際: 陰性 | FP（偽陽性） | TN（真陰性） |
- TP：病変がありAIも検出（正解）
- TN：正常でAIも正常と判定（正解）
- FP：正常なのにAIが異常と判定（誤報）
- FN：病変があるのにAIが見逃し（最も危険）
医療画像AIでは特にFN（見落とし）の最小化が重要視されますが、FP（誤報）が多すぎると不要な精密検査を招きます。
主要な評価指標
感度（Sensitivity / Recall）
実際に陽性のうち、正しく陽性と予測した割合です。
計算式: 感度 = TP / (TP + FN)
臨床的意義:
- 「病気を見逃さない能力」を表す
- スクリーニング用途では高い感度（≥0.90）が求められる
- 感度を上げるほどFPが増える傾向がある（トレードオフ）
特異度（Specificity）
実際に陰性のうち、正しく陰性と予測した割合です。
計算式: 特異度 = TN / (TN + FP)
臨床的意義:
- 「正常を正しく判断する能力」を表す
- 確定診断用途では高い特異度が求められる
- 偽陽性による不要な侵襲的検査を避けるために重要
適合率（Precision / PPV）
陽性と予測した中で実際に陽性だった割合です。
計算式: 適合率 = TP / (TP + FP)
臨床的意義:
- 「AIが陽性と言った場合の信頼度」を表す
- 有病率に大きく依存する（低有病率の集団ではPPVが低下する）
F1スコア
感度と適合率の調和平均です。
計算式: F1 = 2 × (Precision × Recall) / (Precision + Recall)
両方の指標をバランスよく評価したい場合に使用します。
比較
スクリーニング vs 確定診断で重視する指標
スクリーニング（胸部X線トリアージなど）では感度を優先し、見落としを最小化します。確定診断（悪性腫瘍の判定など）では特異度を優先し、偽陽性による不要な治療を防ぎます。用途に応じた閾値設定が重要です。
ROC曲線とAUC
ROC曲線
ROC（Receiver Operating Characteristic）曲線は、判定閾値を連続的に変化させたときの感度と偽陽性率（1-特異度）の関係を描いたグラフです。
読み方:
- X軸: 偽陽性率（1 - 特異度）
- Y軸: 感度（真陽性率）
- 曲線が左上に近いほど高性能
- 対角線（ランダム予測）からの距離が性能を示す
AUC（Area Under the Curve）
ROC曲線の下側の面積で、閾値に依存しないモデル全体の判別能力を表します。
AUCの解釈基準:
| AUC | 性能レベル |
|---|---|
| 0.90〜1.00 | 優秀 |
| 0.80〜0.90 | 良好 |
| 0.70〜0.80 | 中程度 |
| 0.60〜0.70 | 不十分 |
| 0.50〜0.60 | ランダムに近い |
AUCの利点:
- 閾値選択に依存しない総合評価
- クラス不均衡の影響を受けにくい
- 異なるモデル間の比較に適する
AUCの限界:
- 臨床で実際に使用する閾値での性能を直接反映しない
- 有病率の情報を含まない
視点
AUCだけでは不十分
AUCは総合的な判別能力の指標ですが、臨床運用では特定の閾値での感度・特異度が重要です。ROC曲線上の「operating point」（運用点）をタスクの要件に応じて設定し、その点での性能を報告しましょう。
データの分割と交差検証
3分割法
データを以下の3群に分割します。
- 訓練データ（Training Set）：モデルの学習に使用。全体の70〜80%
- 検証データ（Validation Set）：ハイパーパラメータ調整とEarly Stoppingに使用。全体の10〜15%
- テストデータ（Test Set）：最終性能の評価にのみ使用。全体の10〜15%
テストデータの独立性は絶対条件です。 テストデータはモデル開発の意思決定に一切使用してはなりません。
交差検証（Cross-Validation）
データが限られている場合、k-fold交差検証でより信頼性の高い評価を行います。
手順:
- データをk個のグループ（fold）にランダム分割
- 1つのfoldをテスト、残りを訓練に使用
- k回繰り返し、全データが1回ずつテストに使われる
- k回の結果を平均し、標準偏差とともに報告
注意点:
- 患者単位でデータを分割する（同一患者の画像が訓練・テスト両方に含まれるデータリークを防ぐ）
- 層化抽出（Stratified Split）でクラス比率を各foldで均一にする
医療画像AI特有の評価上の注意点
臨床的文脈を考慮する
数値上の性能と臨床的な有用性は必ずしも一致しません。
- 感度95%でも、1日100件の検査で5件の見落としが発生する
- 特異度90%は、100件中10件の偽陽性による精密検査を意味する
- 読影時間の短縮や負担軽減といった副次的な効果も評価対象に含める
データの偏り（Selection Bias）
訓練データの偏りがモデルの公平性に影響します。
- 年齢・性別の偏り：特定の集団でのみ高い性能を示すリスク
- 疾患重症度の偏り：典型的な症例のみで学習し、非典型例を見逃す
- 施設の偏り：単施設データでは装置やプロトコルのバイアスが混入する
外部検証の必要性
モデルの汎化性能を確認するため、開発に使用していないデータセットでの外部検証が不可欠です。
- 多施設検証：異なる病院・装置のデータで評価
- 前向き検証：開発後に収集した時間的に独立したデータで評価
- 地理的検証：異なる地域・人種の集団で評価
注意
内部検証だけでは不十分
内部テストデータでAUC 0.95のモデルが、外部データではAUC 0.80に低下するケースは珍しくありません。論文で報告される性能は多くの場合内部検証の結果です。導入前には必ず自施設データでの性能検証を実施してください。
まとめ
- 精度（Accuracy）だけでなく、感度・特異度・AUCなどタスクに適した指標を選択する
- 混同行列でTP/TN/FP/FNの内訳を把握し、臨床的なインパクトを考える
- ROC曲線とAUCでモデル全体の判別能力を評価しつつ、運用閾値での性能も確認する
- データ分割では患者単位の独立性を保ち、外部検証で汎化性能を検証する
次のレッスンでは、これまでの知識を統合した実践的な応用例を通して、医療画像AIプロジェクトの全体像を学びます。
セルフチェック
1. 1,000枚の胸部X線で異常が10枚のみの場合、すべてを正常と予測するモデルの精度（Accuracy）はいくつですか？
2. スクリーニング用途の医療画像AIで最も重視すべき評価指標はどれですか？
3. データ分割で「患者単位の分割」が必要な理由として正しいものはどれですか？
明日のアクション
手元の二値分類結果（予測確率と正解ラベル）を使い、scikit-learnの roc_curve と auc 関数でROC曲線を描画してみましょう。次に、感度≥0.90を満たす閾値を特定し、その閾値での特異度・適合率を計算してください。閾値の選択によって臨床的なトレードオフがどう変化するかを実感しましょう。