メインコンテンツへスキップ
AMPL
お問い合わせ

モデルの評価と改善

交差検証、ハイパーパラメータ調整、バイアスとバリアンスのトレードオフ、モデル選択の基準を体系的に学びます

  • レッスン 6 / 8
  • 11分

このレッスンで

終わる頃には、次ができるようになります

  • k-fold交差検証の手順と、医療データでグループk-foldが必要な理由を説明できる
  • グリッドサーチ・ランダムサーチ・ベイズ最適化というハイパーパラメータ調整手法を使い分けられる
  • 学習不足(高バイアス)と過学習(高バリアンス)のトレードオフを説明できる

セクション1: 交差検証

交差検証（Cross-validation）は、データを複数のグループに分けて、モデルの性能をより信頼性高く評価する手法です。最もよく使われるのがk-fold交差検証です。

01

k分割

データをk個のグループ（fold）に分割する

02

学習と評価

1つのfoldをテスト用、残りk-1個を訓練用にする

03

k回繰り返す

テスト用のfoldを順に変えて繰り返す

04

平均を取る

k回の評価結果の平均を最終的な性能とする

k-fold交差検証の手順

交差検証の利点：

  • 信頼性：1回の分割だけに依存しないため、より安定した評価が得られる
  • データの有効活用：全てのデータが訓練とテストの両方に使われる
  • 過学習の検出：訓練スコアと検証スコアの差から過学習を検出できる

注意

医療データでの交差検証の注意点

医療データでは、同一患者の複数レコードが異なるfoldに分かれてしまう「データリーケージ」に注意が必要です。患者単位でfoldを分割する「グループk-fold交差検証」を使いましょう。また、時系列データの場合は、未来のデータで過去を予測してしまわないよう、時系列を考慮した分割（Time Series Split）が必要です。

サンプル数が少ない場合（希少疾患の研究など）は、各サンプルを1つずつテスト用にして残り全てで学習する「Leave-One-Out交差検証（LOOCV）」が有用ですが、計算コストが高いのが難点です。

セクション2: ハイパーパラメータ調整

ハイパーパラメータは、モデルの学習を始める前に人間が設定するパラメータです。データからは自動的に学習されず、モデルの振る舞いを外側から制御します（例：学習率、正則化係数、決定木の最大深さ、ニューラルネットワークの層数・ニューロン数）。

ハイパーパラメータの調整手法

1

グリッドサーチ

定義したパラメータの組み合わせを全て試す。確実だが計算量が指数的に増加する

2

ランダムサーチ

パラメータ空間からランダムにサンプリング。グリッドサーチより効率的なことが多い

3

ベイズ最適化

過去の試行結果から次に試すパラメータを確率モデルで推定。少ない試行で最適値に近づける

比較

グリッドサーチ vs ランダムサーチ

パラメータが2〜3個なら、グリッドサーチで網羅的に探索するのが確実です。しかし、パラメータが4個以上になると、全ての組み合わせを試すのは現実的でなくなります。研究では、ランダムサーチの方が同じ計算時間でより良い結果を見つけやすいことが示されています（Bergstra & Bengio, 2012）。

セクション3: バイアスとバリアンスのトレードオフ

バイアス（Bias）はモデルの予測の系統的な偏り、バリアンス（Variance）はモデルの予測のばらつきです。両者は一般にトレードオフの関係にあります。

バイアスとバリアンスのトレードオフ

モデルが単純すぎる

高バイアス・低バリアンス

データの真のパターンを捉えきれない「学習不足（Underfitting）」

モデルが複雑すぎる

低バイアス・高バリアンス

訓練データが変わると予測が大きく変わる「過学習（Overfitting）」

最適なモデルは、バイアスとバリアンスの合計誤差が最小となるバランスにある。

視点

医療AIにおけるバイアス-バリアンスの実践的意味

診断支援AIでは、このトレードオフが臨床的に重要な意味を持ちます。高バイアス（学習不足）のモデルはデータのパターンを十分に捉えられず、高バリアンス（過学習）のモデルは新しいデータへの汎化が不安定になります。感度や特異度のどちらが影響を受けるかは、分類閾値やクラス分布に依存するため一概には言えません。臨床でのコスト（見落としのコスト vs 偽陽性のコスト）を考慮して閾値とモデルの複雑さを調整する必要があります。

セクション4: モデル選択

複数の候補モデルから最適なものを選ぶ際には、性能だけでなく複数の基準を総合的に判断します。

予測性能

テストデータでの評価指標（AUC、F1スコア等）

解釈可能性

予測の根拠を人間が理解できるか

計算効率

訓練・推論にかかる時間とリソース

データ要求量

十分な性能を発揮するのに必要なデータ量

デプロイの容易さ

実運用環境での導入・保守のしやすさ

モデル選択の主な基準

視点

説明可能性 vs 精度のジレンマ

医療では、高精度なブラックボックスモデル（深層学習等）と、やや精度は劣るが説明可能なモデル（ロジスティック回帰、決定木等）のどちらを選ぶかが常に議論されます。臨床ガイドラインの策定や規制当局の承認には説明可能性が求められますが、画像診断など一部の用途では精度が最優先される場合もあります。

明日のアクション

2つの診断支援モデルがあるとします。モデルA（ロジスティック回帰）はAUC 0.85で特徴量の寄与が明確に説明可能。モデルB（深層学習）はAUC 0.92だが判断根拠が不透明。以下の3つのシナリオでどちらを選ぶか、理由とともに考えてみましょう：(1) 救急外来のトリアージ、(2) 臨床ガイドラインへの組み込み、(3) 画像診断の二次読影支援。

セルフチェック

1. k-fold交差検証で、k=5の場合の手順として正しいものはどれですか？

2. 高バイアス・低バリアンスのモデルの特徴として正しいものはどれですか？

3. 医療分野でのモデル選択で、予測性能以外に特に重要な基準は何ですか？

参考文献

このレッスンは役に立ちましたか？