やってみよう

少しずつ違う決定木をたくさん作って多数決するのがランダムフォレストです。木の本数を 1 にすると境界はギザギザ(=ただの決定木)。本数を増やすほど境界がなめらかで安定し、過学習しにくくなります。色が薄いところは木どうしの意見が割れている場所です。グラフの●をドラッグすると(クリックでも移動します)、その地点で各木がどのクラスに投票したかを数えられます。

クラス A
クラス B
クラス C
決定境界
多数決に使う木の本数
–
訓練データの正解率
–
●の地点での投票(全 1 本)

ヒント:各木はブートストラップ標本(重複ありの再抽出)で学習し、分割のたびに使う特徴量をランダムに選びます。だから木ごとに少しずつ違う境界になり、多数決でならされます。