やってみよう

それまでの木を合わせた予測の間違い(残差)を、次の木が学習する。それを学習率の分だけ少しずつ足していくのが勾配ブースティングです。段数を増やすと予測(階段状の曲線)がデータに近づき、赤い残差の線が短くなっていきます。学習率を小さくするとゆっくり、大きくすると一気に fit します。

データ点
予測 \(F(x)\)(段数までの合計)
残差(まだ直せていないズレ)
段数(木の本数)
–
学習率
–
訓練誤差 MSE(小さいほど良い)
–

ヒント:学習率を 0.05 にして段数を最大まで動かすと、少しずつ近づく様子がよく分かります。1.0 にすると数本で一気に fit します(そのぶん過学習しやすい)。