自然言語処理の餅屋

• 文や単語がどの程度重要かを数値化する計算または処理。キーワード抽出も参照。
• 下記の２アルゴリズムが有名。
  • TF-IDF
  • Okapi BM25

ここで、freq(w, S)はコーパスS中の単語 w の出現頻度、!w はw以外の全単語を意味する。 また、コーパスS+Gの全単語の出現頻度を n (=a + b + c + d)とする。

LLR = 2 * (aLNa + bLNb + c * LN© + d * LN(d) - (a + b) * LN(a + b) - (a + c) * LN(a + c) - (b + d) * LN(b + d) - (c + d) * LN(c + d) + (a + b + c + d) * LN(a + b + c + d))