13. テキストデータを用いた機械学習¶

import numpy as np
import pandas as pd
import MeCab
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.svm import LinearSVC
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 1. データ読み込み + 分かち書き関数の定義
df = pd.read_csv("movie_reviews.csv")

tagger = MeCab.Tagger("-Owakati")
def tokenize(text):
    return tagger.parse(text).strip().split()

texts = df["text"].values
labels = df["label"].values

# 2. テキストを先に分割し、訓練側だけで語彙とIDFを学習
train_texts, test_texts, y_train, y_test = train_test_split(
    texts, labels, test_size=0.2, random_state=42
)
vectorizer = TfidfVectorizer(tokenizer=tokenize, token_pattern=None)
X_train = vectorizer.fit_transform(train_texts)
X_test = vectorizer.transform(test_texts)

# 3. 3 つの分類器を比較
models = {
    "ナイーブベイズ": MultinomialNB(),
    "SVM": LinearSVC(max_iter=1000),
    "ロジスティック回帰": LogisticRegression(max_iter=1000),
}
for name, model in models.items():
    model.fit(X_train, y_train)
    acc = accuracy_score(y_test, model.predict(X_test))
    print(f"{name}: 正解率 {acc:.4f}")

# 4. ロジスティック回帰の係数から重要語を抽出
# classes_ は ['negative' 'positive'] なので、係数が大きいほど positive 寄り
model_lr = models["ロジスティック回帰"]
feature_names = vectorizer.get_feature_names_out()
coef = model_lr.coef_[0]

top_pos = np.argsort(coef)[::-1][:10]
top_neg = np.argsort(coef)[:10]

print("\nポジティブ寄りの単語 トップ10:")
print(", ".join(feature_names[i] for i in top_pos))
print("\nネガティブ寄りの単語 トップ10:")
print(", ".join(feature_names[i] for i in top_neg))

import pandas as pd
import MeCab
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC
from sklearn.metrics import accuracy_score

# 演習13-1と同じテキストの分割
df = pd.read_csv("movie_reviews.csv")
train_texts, test_texts, y_train, y_test = train_test_split(
    df["text"].values, df["label"].values, test_size=0.2, random_state=42
)
tagger = MeCab.Tagger("-Owakati")
def tokenize(text):
    return tagger.parse(text).strip().split()

# 両方とも訓練テキストだけから語彙とIDFを学習する
for label, ngram in [("unigram", (1, 1)), ("1-2gram", (1, 2))]:
    vectorizer = TfidfVectorizer(tokenizer=tokenize, token_pattern=None,
                                ngram_range=ngram)
    X_train = vectorizer.fit_transform(train_texts)
    X_test = vectorizer.transform(test_texts)
    model = LinearSVC(max_iter=1000)
    model.fit(X_train, y_train)
    accuracy = accuracy_score(y_test, model.predict(X_test))
    print(f"{label}: 語彙数 {X_train.shape[1]}, 正解率 {accuracy:.4f}")

import pandas as pd
import MeCab
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC

# データの準備と SVM の学習（演習13-1と同じ）
df = pd.read_csv("movie_reviews.csv")

tagger = MeCab.Tagger("-Owakati")
def tokenize(text):
    return tagger.parse(text).strip().split()

train_texts, test_texts, y_train, y_test = train_test_split(
    df["text"].values, df["label"].values, test_size=0.2, random_state=42
)
vectorizer = TfidfVectorizer(tokenizer=tokenize, token_pattern=None)
X_train = vectorizer.fit_transform(train_texts)
X_test = vectorizer.transform(test_texts)
model_svm = LinearSVC(max_iter=1000)
model_svm.fit(X_train, y_train)

# 自作レビューの判定
my_reviews = [
    "映像が美しく、最後まで夢中で観た。文句なしの傑作だと思う。",
    "テンポが良くて登場人物も魅力的。友人にも勧めたい映画だった。",
    "話の展開が遅くて退屈だった。時間を返してほしい。",
    "期待して観たが、脚本が薄くてがっかりした。",
]
X_my = vectorizer.transform(my_reviews)
for text, pred in zip(my_reviews, model_svm.predict(X_my)):
    print(f"{pred}: {text}")

from sentence_transformers import SentenceTransformer, util

# モデルの読み込み
model_st = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2")

sentences = [
    "この映画は面白かった",
    "この作品はとても楽しめた",
    "今日は雨が降っています",
]
embeddings = model_st.encode(sentences)

sim_12 = util.cos_sim(embeddings[0], embeddings[1]).item()
sim_13 = util.cos_sim(embeddings[0], embeddings[2]).item()
print(f"1文目と2文目の類似度: {sim_12:.4f}")
print(f"1文目と3文目の類似度: {sim_13:.4f}")

# 類似文検索
query = "スマートフォンの新製品が発表された"
candidates = [
    "新しいスマホが登場して話題になっている",
    "今日の夕食はカレーライスにした",
    "台風が接近し、明日は大雨の予報だ",
    "最新の携帯電話が公開され注目を集めた",
]

query_emb = model_st.encode([query])
cand_emb = model_st.encode(candidates)

# クエリと各候補の類似度（1×4 の行列の先頭行）
sims = util.cos_sim(query_emb, cand_emb)[0]
for text, sim in zip(candidates, sims):
    print(f"{sim.item():.4f}: {text}")

best = int(sims.argmax())
print(f"\n最も近い文: {candidates[best]}")

import pandas as pd
import MeCab
from sentence_transformers import SentenceTransformer
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# 1. データ読み込み（ラベルは文字列のまま使う）
df = pd.read_csv("emails.csv")

# 2. 先に 1 回だけ訓練・テストに分割（同じ行を両手法で使う）
train_df, test_df = train_test_split(
    df, test_size=0.2, random_state=42, stratify=df["label"]
)

# 3. TF-IDF + ロジスティック回帰
tagger = MeCab.Tagger("-Owakati")
def tokenize(text):
    return tagger.parse(text).strip().split()

vectorizer = TfidfVectorizer(tokenizer=tokenize, token_pattern=None)
X_train_tfidf = vectorizer.fit_transform(train_df["text"])
X_test_tfidf = vectorizer.transform(test_df["text"])

model_tfidf = LogisticRegression(max_iter=1000)
model_tfidf.fit(X_train_tfidf, train_df["label"])
acc_tfidf = accuracy_score(test_df["label"], model_tfidf.predict(X_test_tfidf))

# 4. Sentence Transformers の Embedding + ロジスティック回帰
model_st = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2")
X_train_emb = model_st.encode(train_df["text"].tolist())
X_test_emb = model_st.encode(test_df["text"].tolist())

model_emb = LogisticRegression(max_iter=1000)
model_emb.fit(X_train_emb, train_df["label"])
acc_emb = accuracy_score(test_df["label"], model_emb.predict(X_test_emb))

# 5. 2 つの精度を並べて表示
print(f"TF-IDF    + ロジスティック回帰: 正解率 {acc_tfidf:.4f}")
print(f"Embedding + ロジスティック回帰: 正解率 {acc_emb:.4f}")

from sentence_transformers import SentenceTransformer, util

model_st = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2")

# ポジ・ネガを代表するアンカー文
pos_anchor = "素晴らしい映画だった"
neg_anchor = "ひどい映画だった"

# 判定したい文
tests = [
    "期待以上の出来で本当に感動した",
    "時間の無駄だった。二度と見たくない",
    "話の展開が退屈で全く楽しめなかった",
    "映像が美しく、心から楽しめる作品だった",
]

# 1. アンカー文とテスト文をまとめてベクトル化する
embeddings = model_st.encode([pos_anchor, neg_anchor] + tests)
anchor_emb = embeddings[:2]
test_emb = embeddings[2:]

# 2. 各テスト文とアンカー文の類似度（4×2 の行列）
sims = util.cos_sim(test_emb, anchor_emb)

# 3. 近い方のラベルを表示する
for text, sim in zip(tests, sims):
    pos_sim, neg_sim = sim[0].item(), sim[1].item()
    label = "positive" if pos_sim > neg_sim else "negative"
    print(f"{label} (pos={pos_sim:.3f}, neg={neg_sim:.3f}): {text}")