パープレキシティ

パープレキシティとは

言語モデルの複雑さを表現する指標で、大きいほうが複雑であり、小さいほうが良い言語モデル。直観的には、後続する可能性のある単語数の平均。2のエントロピー乗で計算。

ツール

Language Model Perplexity (LM-PPL)https://github.com/asahi417/lmppl

記事