文書中に含まれる単語の重要度を評価するアルゴリズム。

最初に実装されたシステムのOkapi情報検索システムにちなんでOkapi BM25と呼ばれる。

BM25とはBest Match 25の略で、1994年に発表。情報検索システムOkapiで25番目に作られた。

TF-IDFは単語数が多い文書に含まれる単語のスコアが高くなる傾向にあるのでOkapi BM25ではそれを解消するような重みが足されている。

改良版の BM25+ もある。

Okapi BM25 - Wikipedia

BM25 The Next Generation of Lucene Relevance - BM25の分かりやすい解説（英語）

2020-12-13 | Information Retrieval and Web Search まとめ(13): 確率的情報検索(2) BM25

2020-12-11 | 【自然言語処理】BM25 - tf-idfの進化系の実践類似度分析【Elasticsearch への道②】#085 #VRアカデミア

2020-04-22 | Okapi BM25についてざっくりまとめ (理論編)

2018-05-08 | 【技術解説】単語の重要度を測る？TF-IDFとOkapi BM25の計算方法とは