第 12 章 演習解答¶

import re

text = """
明日のセミナー【締切間近！】の案内です★
詳しくは https://example.com まで！
質問は contact@example.jp までお願いします。
電話番号： 03-1234-5678
"""

# 1. URL の削除
text = re.sub(r"https?://[\w/:%#\$&\?\(\)~\.=\+\-]+", "", text)

# 2. メールアドレスの削除
text = re.sub(r"\S+@\S+", "", text)

# 3. 電話番号の削除
text = re.sub(r"\d{2,4}-\d{2,4}-\d{4}", "", text)

# 4. 装飾記号の削除
text = re.sub(r"[【】★]", "", text)

# 5. 余分な空白の整理 + strip
text = re.sub(r"\s+", " ", text).strip()

print(text)

import MeCab

tagger = MeCab.Tagger()

def extract_by_pos(text, target_pos):
    """指定した品詞の単語のみを抽出する"""
    words = []
    node = tagger.parseToNode(text)
    while node:
        if node.surface != "":
            pos = node.feature.split(",")[0]
            if pos in target_pos:
                words.append(node.surface)
        node = node.next
    return words

text = "機械学習の技術は急速に進歩している"
print("名詞のみ:", extract_by_pos(text, ["名詞"]))
print("名詞・動詞・形容詞:",
      extract_by_pos(text, ["名詞", "動詞", "形容詞"]))

# 自分で考えた文でも確認
my_text = "昨日は友達と新宿で美味しいラーメンを食べました"
print("自作文の名詞:", extract_by_pos(my_text, ["名詞"]))

import re
import MeCab

texts = [
    "AI技術の発展は素晴らしいです！詳細は https://example.jp へ。",
    "機械学習を勉強することで、新しいことができるようになります。",
    "本日のテーマ：ディープラーニング入門。質問がある方は contact@ml.example.com まで★",
    "価格は1980円、送料は300円です。",
]
stopwords = {"する", "ある", "いる", "なる", "こと", "もの", "ため", "とき"}

tagger = MeCab.Tagger()

def preprocess(text):
    """クリーニング→形態素解析→品詞フィルタ→ストップワード除去"""
    # 1. テキストクリーニング
    text = re.sub(r"https?://[\w/:%#\$&\?\(\)~\.=\+\-]+", "", text)  # URL除去
    text = re.sub(r"[\w\.-]+@[\w\.-]+\.\w+", "", text)  # メールアドレス除去
    text = re.sub(r"\d+", "", text)  # 数字の除去
    text = re.sub(r"[【】★：]", "", text)  # 装飾記号の除去
    text = re.sub(r"\s+", " ", text).strip()  # 空白の正規化

    # 2. 形態素解析と品詞フィルタリング + ストップワード除去
    words = []
    node = tagger.parseToNode(text)
    while node:
        if node.surface != "":
            pos = node.feature.split(",")[0]
            if pos in ["名詞", "動詞", "形容詞"] and node.surface not in stopwords:
                words.append(node.surface)
        node = node.next
    return words

for i, text in enumerate(texts, 1):
    print(f"テキスト{i}: {preprocess(text)}")

import MeCab
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer

# 本章のサンプル文書コーパス（5文）
documents = [
    "機械学習はデータからパターンを学習する技術です",
    "深層学習はニューラルネットワークを用いた機械学習の手法です",
    "自然言語処理はテキストデータを分析する技術です",
    "画像認識は写真や動画から物体を検出する技術です",
    "機械学習を使ってテキストを分類することができます",
]

# MeCabで分かち書き
tagger = MeCab.Tagger("-Owakati")
wakati_docs = [tagger.parse(doc).strip() for doc in documents]

# BoWとTF-IDFの両方でベクトル化
count_vec = CountVectorizer()
bow = count_vec.fit_transform(wakati_docs)
tfidf_vec = TfidfVectorizer()
tfidf = tfidf_vec.fit_transform(wakati_docs)

# 特徴的な単語について、文書ごとの値を比較
vocab = list(count_vec.get_feature_names_out())
print("単語 / BoW（各文書の出現回数） / TF-IDF（各文書の値）")
for w in ["技術", "学習", "画像", "分類"]:
    i = vocab.index(w)
    bow_col = bow.toarray()[:, i]
    tfidf_col = tfidf.toarray()[:, i].round(2)
    print(f"{w}: {bow_col} {tfidf_col}")