このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン最新のリビジョン両方とも次のリビジョン | ||
tf-idf [2022/01/15 15:59] – admin | 重要度:tf-idf [2022/09/14 20:45] – admin | ||
---|---|---|---|
行 1: | 行 1: | ||
===== TF-IDF ===== | ===== TF-IDF ===== | ||
- | ==== TF-IDFとは | + | === TF-IDFとは === |
* term frequency - inverse document frequency | * term frequency - inverse document frequency | ||
- | * 文書中に含まれる単語の[[重要度]]を評価するアルゴリズム。文書のベクトル化など様々な用途に使われる。 | + | * 文書中に含まれる単語の[[:重要度]]を評価するアルゴリズム。文書のベクトル化など様々な用途に使われる。 |
* 単語の出現頻度(term frequency, TF)と逆文書頻度(Inverse document frequency, IDF)の積で定義。 | * 単語の出現頻度(term frequency, TF)と逆文書頻度(Inverse document frequency, IDF)の積で定義。 | ||
* 古典的でよく使われるが、そんなに精度がいい訳ではない。これだけ簡単な計算で得られる近似としてはすばらしい。 | * 古典的でよく使われるが、そんなに精度がいい訳ではない。これだけ簡単な計算で得られる近似としてはすばらしい。 | ||
- | * 例えば、[[Okapi BM25]]などは TF-IDFよりも精度がよいと言われている。 | + | * 例えば、[[重要度: |
* 1972年に[[https:// | * 1972年に[[https:// | ||
- | ==== 意味付け ==== | + | === 意味付け === |
+ | * 2022-05-19 | [[https:// | ||
* 2005-11-01 | [[http:// | * 2005-11-01 | [[http:// | ||
- | ==== 派生 | + | === 派生 === |
* TF-IDFには様々な派生(改良)がある。例えば、[[https:// | * TF-IDFには様々な派生(改良)がある。例えば、[[https:// | ||
- | ==== 記事 | + | === 記事 === |
* 2021-12-24 | [[https:// | * 2021-12-24 | [[https:// | ||
* 2021-07-31 | [[https:// | * 2021-07-31 | [[https:// | ||
行 23: | 行 24: | ||
* 2020-12-04 | (動画) [[https:// | * 2020-12-04 | (動画) [[https:// | ||
* 2020-11-28 | [[https:// | * 2020-11-28 | [[https:// | ||
+ | * 2020-11-22 | [[https:// | ||
* 2020-09-19 | [[https:// | * 2020-09-19 | [[https:// | ||
* 2020-07-26 | [[https:// | * 2020-07-26 | [[https:// | ||
* 2020-07-13 | [[https:// | * 2020-07-13 | [[https:// | ||
- | * 2019-04-09 | [[https:// | + | * 2019-04-09 | [[https:// |
- | * 2018-05-11 | [[https:// | + | * 2018-05-11 | [[https:// |
* 2005-10-12 | [[https:// | * 2005-10-12 | [[https:// | ||