形態素解析:sentencepiece
差分
このページの2つのバージョン間の差分を表示します。
| 両方とも前のリビジョン前のリビジョン | 最新のリビジョン両方とも次のリビジョン | ||
| 形態素解析:sentencepiece [2021/08/28 14:24] – [リンク] admin | 形態素解析:sentencepiece [2022/09/14 21:24] – admin | ||
|---|---|---|---|
| 行 5: | 行 5: | ||
| * 逆に言えば人間の感覚ではおかしな単語分割がされることもある。また学習テキストが変われば分割結果が変わる。 | * 逆に言えば人間の感覚ではおかしな単語分割がされることもある。また学習テキストが変われば分割結果が変わる。 | ||
| * テキストの圧縮率をベースに最適化し、辞書規模を圧縮。 | * テキストの圧縮率をベースに最適化し、辞書規模を圧縮。 | ||
| + | * 2017-04-07 | [[https:// | ||
| ==== 記事 ==== | ==== 記事 ==== | ||
· 最終更新: 2023/06/10 15:22 by admin