\(\alpha\)を強めると、いらない特徴量の係数が次々とちょうど0に張り付く
L1正則化は不要な特徴量の係数をちょうど0にします(=自動的な特徴量選択)。下のグラフは、正則化強度\(\alpha\)を小さい方から大きい方へ動かしたときに各係数がどう変化するかを描いた正則化パスです。スライダーで縦線を動かし、係数が0に到達して張り付く順番を確かめましょう。弱い特徴量から先に0になり、強い特徴量ほど最後まで残ります(このデータでは特徴量5は目的変数と無関係なので真っ先に0になります)。
ヒント:縦線が右へ進むほど、影響の小さい特徴量から順に曲線が0へ落ちて張り付きます。0になった特徴量はグレー表示になります。