内容へ移動
自然言語処理の餅屋
https://www.jnlp.org/
ユーザ用ツール
ユーザー登録
ログイン
サイト用ツール
検索
ツール
文書の表示
以前のリビジョン
バックリンク
最近の変更
メディアマネージャー
サイトマップ
ユーザー登録
ログイン
>
最近の変更
メディアマネージャー
サイトマップ
現在位置:
自然言語処理の餅屋
»
パープレキシティ
パープレキシティ
この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。
===== パープレキシティ ===== === パープレキシティとは === [[言語モデル]]の複雑さを表現する指標で、大きいほうが複雑であり、小さいほうが良い言語モデル。直観的には、後続する可能性のある単語数の平均。2のエントロピー乗で計算。 === ツール === |Language Model Perplexity (LM-PPL)|https://github.com/asahi417/lmppl| === 記事 === * 2021-07-05 | (動画) [[https://www.youtube.com/watch?v=Xd_KfgWVWsI|第7回: Lower Perplexity is Not Always Human-Like]] * 2020-11-26 | (PDF) [[https://arxiv.org/abs/2011.13220|Unigram-Normalized Perplexity as a Language Model Performance Measure with Different Vocabulary Sizes]] * [[https://tips-memo.com/perplexity|【初学者向け】パープレキシティとは。クロスエントロピーとの関係も解説。]] * (スライド) [[https://www.slideshare.net/hoxo_m/perplexity|トピックモデルの評価指標 Perplexity とは何なのか?]] * [[http://lab.jnlp.org/lab/graduates/okada/nlp/term/entropy|エントロピーとパープレキシティ]] * [[http://techtipshoge.blogspot.com/2017/10/perplexity.html|Perplexityとは]] * (PDF) [[https://www.anlp.jp/proceedings/annual_meeting/2005/pdf_dir/B2-8.pdf|複合語のパープレキシティに基づく重要語抽出法の研究]]
(感想・要望・情報提供)
· 最終更新: 2023/02/09 17:32 by
admin
ページ用ツール
文書の表示
以前のリビジョン
バックリンク
文書の先頭へ
(広告募集)