ランダムフォレストと過学習の理解：可視化とシミュレーション研究

Core Concepts

ランダムフォレストは、トレーニングデータでほぼ完璧なc統計を示すが、テストデータでは性能が低下しないことが多い。

Abstract

このコンテンツは、ランダムフォレストによる確率推定の挙動を詳細に理解するための可視化とシミュレーション研究に焦点を当てています。ランダムフォレストモデルは、トレーニングデータで局所的な確率ピークを学習し、ほぼ完璧なトレーニングc統計を示します。しかし、新しいデータでの識別損失はしばしば控えめです。シミュレーション結果から、高いトレーニングc統計を持つシナリオは、テストc統計が低くなる傾向があることが示されました。

Stats

メディアン訓練c統計値はほぼ1であり、4つのバイナリ予測子または最小ノードサイズ20を持つ16個のバイナリ予測子以外では1に近い値です。
中央値訓練スロープは常に1より大きく、中央値テストスロープも同様です。
メディアン訓練キャリブレーションスロープは1.10〜19.4まで変動しました。
メディアンMSEは0.008（範囲0.000〜0.045）でした。

Quotes

"Random forests learn local probability peaks that often yield near perfect training c-statistics without strongly affecting c-statistics on test data."
"Simulation results showed that scenarios with higher training c-statistics tended to have poorer test c-statistics."
"In line with the work of Ziegler and colleagues, our results suggest that avoiding deeply grown trees in RF models for clinical risk prediction may often lead to better performance on new data."

Key Insights Distilled From

Understanding random forests and overfitting

by Lasa... at arxiv.org 03-01-2024

https://arxiv.org/pdf/2402.18612.pdf

Deeper Inquiries

どうしてトレーニングデータではランダムフォレストの性能が高く見えるのに、テストデータでは低下することが多いのか？

ランダムフォレスト（RF）モデルは、トレーニングデータで非常に高いc統計量を示す傾向があります。これは、個々の木が過学習しており、トレーニングセット内のほとんどすべての事例に対して完全な確率推定を行っているためです。しかし、テストセットで性能が低下する理由は複数あります。
まず第一に、RFモデルは局所的な確率ピークを学習します。つまり、トレーニングセット内で特定のイベント周辺に確率ピークを形成しやすくなります。このような局所的な過学習は新しいデータ全体の識別力にあまり影響しない可能性があります。
さらに、深く成長した木を使用する場合、各分割で連続変数よりもバイナリ変数を好む傾向があるためです。連続変数は多くの方法で分割されるため、「偶然」的に最適なジニ指標スプリットポイントが存在しやすくなります。これらの分割点はしばしば過学習されており、それ故訓練c統計量は増加しますがテストc統計量は減少します。
最後に、RFモデルでは通常アウトオブバッグパフォーマンス（OOB）評価も行われます。OOB評価では訓練セットから抽出されたサンプル以外でも木構築と予測評価を行います。そのためOOBパフォーマンスも考慮することで実際的かつ客観的な性能評価が可能です。

深く成長した木を避けることが新しいデータでより良いパフォーマンスにつながる可能性がある場合、なぜ完全に成長した木を使用することが一般的だったのか？

従来からRFモデルでは完全または深く成長した決定木（Fully Grown Trees）を使用することが一般的でした主要理由として以下の点挙げられます：

Overfitting回避: 完全また深く成長させた決定木では訓練セット内部でも極端化現象（overfitting）起きやすいです。
シンプルさ: ハイパーパラメータ認識不要: 完全また深く成長させても問題発生少：n_tree増加時overfitting問題解消
速度: 計算効率上昇: 完全また深く成長させても処理時間大幅伸ば

ただし近年逆転現象「Double Descent Curve」提唱者Belkin氏等反対意見有：初期段階complexity上昇→test set performance改善→deteriorate→再度改善

確率推定問題ではキャリブレーション重要性強調されていますか？その影響や対処法探求必要性あり?

確率推定問題（Probability Estimation Problem）中キャリブレーション重要視根拠：

キャリブレート未精密時臨床意思決断失敗協会
RF等Deep Learning Model利用時キャリブライト困難
影響及修正手法：

Calibration Plot作製：Observed proportion vs Predicted probability比較
Logloss/Brier Score利用：Calibration Loss Function Tuning
Recalibrate Probability: 新情報基盤再補正
以上内容参考資料Barreñada et al., (2023) 提案内容基本方針及修正策提示可知也述明需求具体措施展開更追究必須至言。