正則化パスを見ながら、L1 と L2 の配分を切り替えよう
ElasticNet は L1（Lasso）とL2（Ridge）のいいとこ取りをした正則化で、L1 比率 \(\rho\) でその性格を調整できます。グラフは正則化パス（横軸 \(\alpha\) を強めていったときの各係数のたどる道）です。\(\rho\) を 0 に近づけると全部の線がなめらかに 0 へ縮み（Ridge 的）、1 に近づけると線が次々と 0 に張り付きます（Lasso 的）。\(\alpha\) のスライダーで縦線を動かすと、その位置での係数が右に出ます。
楕円は損失の等高線で、領域に最初に接した赤い点が解です。\(\rho\) を上げると軸の上の角がとがり、解が角に乗って \(\beta_2\) がちょうど 0 になります。
ヒント：真の係数は \(\beta_{3}\)・\(\beta_{5}\)・\(\beta_{7}\) が 0（無関係な特徴量）です。\(\rho\) を上げると、その 3 本が早い段階で 0 に落ちるのが見えます。