サイドバー
重要度:tf-idf
TF-IDF
TF-IDFとは
- term frequency - inverse document frequency
- 文書中に含まれる単語の重要度を評価するアルゴリズム。文書のベクトル化など様々な用途に使われる。
- 単語の出現頻度(term frequency, TF)と逆文書頻度(Inverse document frequency, IDF)の積で定義。
- 古典的でよく使われるが、そんなに精度がいい訳ではない。これだけ簡単な計算で得られる近似としてはすばらしい。
- 例えば、Okapi BM25などは TF-IDFよりも精度がよいと言われている。
- 1972年にKaren Spärck JonesがIDFの概念を発表したことがはじまり。
意味付け
- 2022-05-19 | TF-IDFの理論的な意味付けについて
- 2005-11-01 | キーワード抽出: tf-idf の意味づけ
派生
- TF-IDFには様々な派生（改良）がある。例えば、Wikipediaを参照。
記事
- 2022-09-17 | 【自然言語処理】【Python】TF-IDFを使って文書の特徴をつかもう
- 2021-12-24 | ニュースから漢字だけ抜き出してTF-IDFで類似性解析
- 2021-07-31 | 単語の重要度の指標tf-idfの数式の感覚的な説明
- 2021-06-01 | 青空文庫の形態素解析データから tf-idf を計量して文芸作品連想クイズを生成する
- 2021-03-14 | 【Python】TF-IDF を使って自分のブログの特徴を取得してみた
- 2021-02-24 | 【自然言語処理】TF-IDFの概要とPythonでの実装方法について
- 2020-12-04 | (動画) 【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア
- 2020-11-28 | 3. Pythonによる自然言語処理 3-2. TF-IDF分析［小説にみる特徴語の検出］
- 2020-11-22 | 3. Pythonによる自然言語処理 3-1. 重要語抽出ツール TF-IDF分析［原定義］
- 2020-09-19 | 続・tf-idf関数を使わずに重みづけ
- 2020-07-26 | 文章解析などで使うTFIDFを計算するライブラリを作ってみた
- 2020-07-13 | 自然言語処理の基礎であるTF-IDFの計算方法とPythonによる実装方法を解説
- 2005-10-12 | 形態素解析と検索APIとTF-IDFでキーワード抽出
· 最終更新: 2022/10/22 17:57 by admin