自然言語処理の餅屋

• 文や単語がどの程度重要かを数値化する計算または処理。特徴度も同じ意味で用いる。キーワード抽出も参照。
• 下記の２アルゴリズムが有名。
  • TF-IDF
  • Okapi BM25

ここで、freq(w, S)はコーパスS中の単語 w の出現頻度、!w はw以外の全単語を意味する。 また、コーパスS+Gの全単語の出現頻度を n (=a + b + c + d)とする。

以下の a, b, c, d, nは上記の意味で用いる。

llr = f(a) + f(b) + f(c) + f(d) + f(n)
    - f(a + b) - f(a + c) - f(b + d) - f(c + d)
ただし f(x) = x * log(x)
 

chi2 = n * (a * d - b * c) ** 2 
/ ((a + b) * (c + d) * (a + c) * (b + d))

yates = n * (abs(a * d - b * c) - n / 2) ** 2 
      / ((a + b) * (c + d) * (a + c) * (b + d))

pmi = log(a) + log(n) - log((a + b) * (a + c))

cos = a / sqrt((a + b) * (a + c))

dice = 2 * a / ((a + b) + (a + c))

csm = (a * d - b * c) / sqrt((a + c) * (b + d))

• 英語教育のための分野特徴単語の選定尺度の比較