セクション1: アンサンブル学習とは
基本概念
アンサンブル学習は、複数のモデル（弱学習器）の予測を組み合わせることで、単一のモデルよりも高い性能を達成する手法です。
視点
「三人寄れば文殊の知恵」
医療の世界では、複数の専門医が議論して治療方針を決定するカンファレンスが行われます。アンサンブル学習はこれと同じ発想です。個々のモデルが異なる視点でデータを分析し、その結果を統合することで、一人（一つのモデル）では気づけなかったパターンも捉えられるようになります。
アンサンブル学習の利点
精度向上
個々のモデルの弱点を互いに補い合う
安定性
予測のばらつき（バリアンス）を低減する
過学習の抑制
複数モデルの平均化により特定データへの過剰適合を防ぐ
セクション2: バギング（Bagging）
バギングの仕組み
バギング（Bootstrap Aggregating）は、訓練データからランダムにサンプルを復元抽出して複数のモデルを学習し、その予測を統合する手法です。
サンプル抽出
元の訓練データからランダムに（重複を許して）抽出する
個別に学習
各サンプルで独立にモデルを学習する
予測を統合
分類は多数決、回帰は平均で全モデルの予測をまとめる
ランダムフォレスト
ランダムフォレストは、バギングの代表的なアルゴリズムで、複数の決定木を組み合わせたものです。単一の決定木より精度が高く、多数の木の平均化により過学習に強く、各特徴量がどれだけ予測に寄与しているかという重要度も評価できます。各木の学習は独立しているため並列計算も可能です。
視点
医療研究でのランダムフォレストの人気
ランダムフォレストは、臨床研究で最もよく使われる機械学習アルゴリズムの一つです。その理由は、高い精度に加えて特徴量の重要度を算出できるため、「どの検査値が予測に重要か」という臨床的に意味のある知見が得られることにあります。
セクション3: ブースティング（Boosting）
ブースティングの仕組み
ブースティングは、弱いモデルを順番に学習させ、前のモデルが間違えたデータに重点を置いて次のモデルを学習する手法です。バギングが各モデルを独立・並列に学習するのに対し、ブースティングは前のモデルの誤りを補正しながら逐次的に学習します。
代表的なアルゴリズム
誤分類されたデータに大きな重みを付与し、次の学習器がそれらを正しく分類するよう学習する
前のモデルの予測誤差（残差）を次のモデルが学習し、誤差を段階的に減らしていく
勾配ブースティングを高速化・正則化したアルゴリズム。データサイエンスコンペティションで多くの優勝を収めている
大規模データに特化した高速な勾配ブースティング。メモリ効率が良い
比較
ランダムフォレスト vs XGBoost
ランダムフォレストは過学習しにくく安定しており、ハイパーパラメータの調整が比較的容易です。XGBoostはより高い精度を達成できる反面、ハイパーパラメータの数が多く調整に手間がかかります。初手としてランダムフォレストで性能のベースラインを確認し、さらなる精度向上が必要な場合にXGBoostを試す、という戦略が実務的です。
セクション4: スタッキング（Stacking）
スタッキングの仕組み
スタッキングは、異なる種類のモデルの予測結果を、別のモデル（メタ学習器）の入力として使い、最終予測を行う手法です。複数の異なるモデル（基底学習器）を訓練し、各基底学習器の予測結果を新しい特徴量として使い、メタ学習器がこれらの予測を統合して最終予測を出します。
スタッキングの利点と注意点
異なる特性のモデルの長所を組み合わせられる
各モデルが得意とするデータパターンを相補的に活用できる
過学習しやすいため交差検証ベースでの構築が必須
計算コストが高く、モデル全体の解釈も困難になる
重要な洞察：アンサンブル学習の実践
注意
アンサンブルの落とし穴
アンサンブル学習は万能ではありません。個々のモデルが同じ方向に偏った誤りをしている場合（例：訓練データのバイアス）、アンサンブルしてもバイアスは解消されません。また、モデルが複雑になるほど、結果の説明が難しくなるという「解釈可能性と精度のトレードオフ」が顕著になります。
医療での活用ポイント：
- 予測精度が最優先の場面：画像診断の二次スクリーニングなど
- 特徴量の重要度を知りたい場面：ランダムフォレストの特徴量重要度を活用
- 説明可能性が必要な場面：アンサンブルの結果をSHAP値などで解釈可能にする
明日のアクション
以下のシナリオで最適なアンサンブル手法を選んでみましょう：(1) 胸部X線画像の異常検出（大量データ、高精度重視）、(2) 30変数の患者データから再入院リスクを予測（特徴量の重要度も知りたい）、(3) 3つの既存予測モデルの結果を統合して最終予測を出したい。それぞれの選択理由も考えてみてください。
セルフチェック
1. バギングとブースティングの最も大きな違いは何ですか？
2. ランダムフォレストが臨床研究で人気がある理由として最も適切なものはどれですか？
3. アンサンブル学習の共通の課題として正しいものはどれですか？