近くの \(k\) 個に聞いて、多数決で決める
新しい点のクラスは、いちばん近い \(k\) 個の多数決で決まります。背景の淡い色は「そこに点を置いたらこう分類される」という決定領域です。\(k\) のスライダーを動かすと、\(k\) が小さいうちは境界がギザギザ（ノイズに振り回される＝過学習気味）、\(k\) を大きくすると境界がなめらかになります。グラフをクリックすると、その点から近傍 \(k\) 個への線と多数決の結果が見られます。置いた点はドラッグで動かせます。
距離はユークリッド距離 \(d = \sqrt{(x_1 - x_2)^2 + (y_1 - y_2)^2}\) で測ります。\(k=1\) は「いちばん近い1点の真似をする」だけなので、外れ値にそのまま引きずられます。