段数を増やして、残差が少しずつ潰れていく様子を見よう
それまでの木を合わせた予測の間違い(残差)を、次の木が学習する。それを学習率の分だけ少しずつ足していくのが勾配ブースティングです。段数を増やすと予測(階段状の曲線)がデータに近づき、赤い残差の線が短くなっていきます。学習率を小さくするとゆっくり、大きくすると一気に fit します。
ヒント:学習率を 0.05 にして段数を最大まで動かすと、少しずつ近づく様子がよく分かります。1.0 にすると数本で一気に fit します(そのぶん過学習しやすい)。