「条件で区切る」だけで分類できることを体験しよう
決定木は \(x_1 < 3.2\) ? のような条件でデータを区切っていく分類法です。区切りは必ず軸に平行になるので、決定境界は階段状になります。木の深さを動かすと、区切りが増えて訓練正解率が上がります。ただし深くしすぎると訓練データに合わせすぎ＝過学習です。
ヒント：分割はジニ不純度（クラスの混ざり具合）が最も下がる条件を全探索して選んでいます。深さ 1〜2 では大まかに、深さ 5〜6 では点ひとつのために細かく区切られていく様子を見てください。