重要度:tf-idf

TF-IDF

TF-IDFとは

term frequency - inverse document frequency
文書中に含まれる単語の重要度を評価するアルゴリズム。文書のベクトル化など様々な用途に使われる。
単語の出現頻度(term frequency, TF)と逆文書頻度(Inverse document frequency, IDF)の積で定義。
古典的でよく使われるが、そんなに精度がいい訳ではない。これだけ簡単な計算で得られる近似としてはすばらしい。
- 例えば、Okapi BM25などは TF-IDFよりも精度がよいと言われている。
1972年にKaren Spärck JonesがIDFの概念を発表したことがはじまり。

意味付け

2022-05-19 | TF-IDFの理論的な意味付けについて
2005-11-01 | キーワード抽出: tf-idf の意味づけ

派生

TF-IDFには様々な派生（改良）がある。例えば、Wikipediaを参照。

記事

2022-09-17 | 【自然言語処理】【Python】TF-IDFを使って文書の特徴をつかもう
2021-12-24 | ニュースから漢字だけ抜き出してTF-IDFで類似性解析
2021-07-31 | 単語の重要度の指標tf-idfの数式の感覚的な説明
2021-06-01 | 青空文庫の形態素解析データから tf-idf を計量して文芸作品連想クイズを生成する
2021-03-14 | 【Python】TF-IDF を使って自分のブログの特徴を取得してみた
2021-02-24 | 【自然言語処理】TF-IDFの概要とPythonでの実装方法について
2020-12-11 | Information Retrieval and Web Search まとめ(11): スコア計算：TF-IDFとベクトル空間モデル
2020-12-04 | (動画) 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
2020-11-28 | 3. Pythonによる自然言語処理　3-2. TF-IDF分析［小説にみる特徴語の検出］
2020-11-22 | 3. Pythonによる自然言語処理　3-1. 重要語抽出ツール TF-IDF分析［原定義］
2020-09-19 | 続・tf-idf関数を使わずに重みづけ
2020-07-26 | 文章解析などで使うTFIDFを計算するライブラリを作ってみた
2020-07-13 | 自然言語処理の基礎であるTF-IDFの計算方法とPythonによる実装方法を解説
2019-04-09 | 自然言語処理の基礎である形態素解析からbowによるベクトル化、TF-IDFによる重み付けまで解説 - MeCab, Bag of Words
2018-05-11 | Pythonで国会議事録から、話題の政治ワードを抽出してみた - スクレイピング, MeCab, matplotlib, Excel
2005-10-12 | 形態素解析と検索APIとTF-IDFでキーワード抽出