交差検証 - 機械学習 Playground

やってみよう

データを \(k\) 個のかたまり（フォールド）に分け、1 つを検証用、残りを訓練用にして評価します。これを \(k\) 回くり返すのが \(k\) 分割交差検証です。各回のスコアは分け方しだいでバラつきますが、平均を取れば信頼できる評価になります。分割数 \(k\) を動かして、平均とばらつきの変わり方を見てみましょう。

訓練に使う部分

検証に使う部分

そのfoldのスコア

分割数 \(k\)5

分割数 \(k\)（学習・評価の回数）

平均スコア（これが実力の見積もり）

–

標準偏差（分け方によるばらつき）

–

ヒント：1 回だけのホールドアウト（＝どれか 1 行だけ）は、当たり外れの大きい評価です。\(k\) 行ぶんを平均すれば、たまたま良い／悪い分割に振り回されません。