サイドバー
形態素解析:sentencepiece
文書の過去の版を表示しています。
SentencePiece
SentencePieceとは
- 分かち書きツール(tokenizer)。
- 言語依存処理がなく、いわゆる辞書も必要ない。教師なし学習で分割単位(subword)を学習。
- 逆に言えば人間の感覚ではおかしな単語分割がされることもある。また学習テキストが変われば分割結果が変わる。
- テキストの圧縮率をベースに最適化し、辞書規模を圧縮。
リンク
- 2021-06-08 | SentencePieceでの日本語分かち書きをTransformersのパイプラインに組み込む
- 2020-12-09 | 【自然言語処理：SentencePiece 0.1.9】概要
- 2020-05-14 | Wikipediaから日本語コーパスを利用してSentencePieceでトークナイズ(分かち書き) - 分かち書き
.gz · 最終更新: 2021/06/20 10:38 by admin