パープレキシティ

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

--- パープレキシティ [2021/07/17 12:43] – admin
+++ パープレキシティ [2023/02/09 17:32] (現在) – admin
@@ 行 1: / 行 1: @@
 ===== パープレキシティ =====
-==== パープレキシティとは ====
+=== パープレキシティとは ===
+[[言語モデル]]の複雑さを表現する指標で、大きいほうが複雑であり、小さいほうが良い言語モデル。直観的には、後続する可能性のある単語数の平均。2のエントロピー乗で計算。
-[[言語モデル:top]]の複雑さを表現する指標で、大きいほうが複雑であり、小さいほうが良い言語モデル。直観的には、後続する可能性のある単語数の平均。2のエントロピー乗で計算。
+=== ツール ===
+|Language Model Perplexity (LM-PPL)|https://github.com/asahi417/lmppl|
-==== リンク ====
+=== 記事 ===
   * 2021-07-05 | (動画) [[https://www.youtube.com/watch?v=Xd_KfgWVWsI|第7回: Lower Perplexity is Not Always Human-Like]]
+  * 2020-11-26 | (PDF) [[https://arxiv.org/abs/2011.13220|Unigram-Normalized Perplexity as a Language Model Performance Measure with Different Vocabulary Sizes]]
   * [[https://tips-memo.com/perplexity|【初学者向け】パープレキシティとは。クロスエントロピーとの関係も解説。]]
   * (スライド) [[https://www.slideshare.net/hoxo_m/perplexity|トピックモデルの評価指標 Perplexity とは何なのか？]]
-  * [[http://www.jnlp.org/lab/graduates/okada/nlp/term/entropy|エントロピーとパープレキシティ]]
+  * [[http://lab.jnlp.org/lab/graduates/okada/nlp/term/entropy|エントロピーとパープレキシティ]]
   * [[http://techtipshoge.blogspot.com/2017/10/perplexity.html|Perplexityとは]]
   * (PDF) [[https://www.anlp.jp/proceedings/annual_meeting/2005/pdf_dir/B2-8.pdf|複合語のパープレキシティに基づく重要語抽出法の研究]]

(感想・要望・情報提供)　

.gz · 最終更新: 2021/07/17 12:43 by admin

(広告募集)