自然言語処理の餅屋

• 文や単語がどの程度重要かを数値化する計算または処理。特徴度も同じ意味で用いる。キーワード抽出も参照。
• 下記の２アルゴリズムが有名。
  • TF-IDF
  • Okapi BM25

ここで、freq(w, S)はコーパスS中の単語 w の出現頻度、!w はw以外の全単語を意味する。 また、コーパスS+Gの全単語の出現頻度を n (=a + b + c + d)とする。

以下の a, b, c, d, nは上記の意味で用いる。

LLR = 2 * ( a * LN(a) + b * LN(b) + c * LN(c) + d * LN(d) 
- (a + b) * LN(a + b) 
- (a + c) * LN(a + c) 
- (b + d) * LN(b + d) 
- (c + d) * LN(c + d)
+ (a + b + c + d) * LN(a + b + c + d)
)

χ^2 = n (a * d - b * c)^2 / (a + b)(c + d)(a + c)(b + d)

Yatesχ^2 = n (|a * d - b * c| - n / 2)^2 / (a + b)(c + d)(a + c)(b + d)

PMI = log (a * n / (a + b)(a + c) )

Cos = a / sqrt((a + b)(a + c))

Dice = 2 * a / (a + b) + (a + c)

CSM = (a * d - b * c) / sqrt((a + c)(b + d)) 

• 英語教育のための分野特徴単語の選定尺度の比較