テキストの前処理 - 機械学習 Playground

やってみよう

Web から集めた生のテキストには、URL・メールアドレス・電話番号・装飾記号・余分な空白といったノイズが混ざっています。右のチェックを付け外しすると、削除される箇所が赤くハイライトされ、結果がその場で変わります。テキストは自由に書き換えられます。Python では re.sub(パターン, 置換後, 文字列) が同じ処理をします。

元のテキスト（編集できます）

削除される箇所（ハイライト）

クリーニング後

クリーニング項目（上から順に適用）

元の文字数

–

クリーニング後の文字数

–

削除された文字数

–

同じ処理の Python コード

パターンはデータを観察してから設計するのが基本です。たとえば \S+@\S+ は簡易的なメールのパターンなので、前後の文字まで巻き込んで消しすぎることがあります。適用する順序でも結果は変わります。