形態素解析 - 機械学習 Playground

やってみよう

英語と違い、日本語は単語がスペースで区切られていません。そこで文を単語に分ける形態素解析が必要になります。左の入力欄に文を打ち込むと、すぐに単語（形態素）に分割され、品詞ごとに色分けして並びます。「ストップワードを除去」を切り替えると、機械学習で使う語だけが残る様子が分かります。

文を入力してください

形態素（品詞で色分け）

分かち書き（残った単語）

文字数

–

単語数

–

異なり語数（種類）

–

残った単語数

–

ストップワードを除去する

品詞の凡例

名詞動詞形容詞形状詞助詞助動詞その他・記号

「は」「を」「が」のように頻出するが意味の薄い語をストップワードと呼び、前処理で取り除くのが一般的です。ここでは仕組みが見えるようミニ辞書＋最長一致法の簡易版を使っています（実際の分析では MeCab などを使います）。