このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
パープレキシティ [2022/07/16 16:08] – admin | パープレキシティ [2023/02/09 17:32] (現在) – admin | ||
---|---|---|---|
行 1: | 行 1: | ||
===== パープレキシティ ===== | ===== パープレキシティ ===== | ||
- | ==== パープレキシティとは ==== | + | === パープレキシティとは === |
[[言語モデル]]の複雑さを表現する指標で、大きいほうが複雑であり、小さいほうが良い言語モデル。直観的には、後続する可能性のある単語数の平均。2のエントロピー乗で計算。 | [[言語モデル]]の複雑さを表現する指標で、大きいほうが複雑であり、小さいほうが良い言語モデル。直観的には、後続する可能性のある単語数の平均。2のエントロピー乗で計算。 | ||
- | ==== リンク ==== | + | === ツール |
- | * 2020-11-26 | [[https://arxiv.org/abs/2011.13220|Unigram-Normalized Perplexity as a Language Model Performance Measure with Different Vocabulary Sizes]] | + | |Language Model Perplexity (LM-PPL)|https://github.com/asahi417/lmppl| |
+ | |||
+ | === 記事 === | ||
* 2021-07-05 | (動画) [[https:// | * 2021-07-05 | (動画) [[https:// | ||
+ | * 2020-11-26 | (PDF) [[https:// | ||
* [[https:// | * [[https:// | ||
* (スライド) [[https:// | * (スライド) [[https:// |