次の単語をサイコロで選ぶ。temperature で「らしさ」と「意外性」を調節する
猫の日常を書いた100文から学習した bigram 言語モデルです。「直前の1単語から次の単語を予測する」を繰り返すだけで文ができます。バーが次の単語の確率分布。temperature を下げると分布が尖っていつも同じ単語が選ばれ、上げるとなだらかになって意外な単語も出ます。ChatGPT のような LLM も、規模はまるで違えど「次の単語の確率分布から選ぶ」点は同じです。
低い＝かたい（いつも同じ）／ 1.0＝学習データそのままの確率 ／ 高い＝奔放（ただし支離滅裂にも）
ヒント：青い縦線は「温度をかける前」の確率です。温度 0.1 で何度も生成するといつも同じ文に、2.0 では毎回ちがう文になります。