ユーザ用ツール

サイト用ツール


サイドバー

bn_kotonohalab

(広告募集)

形態素解析:sentencepiece

SentencePiece

SentencePieceとは

  • 分かち書きツール(tokenizer)。
  • 言語依存処理がなく、いわゆる辞書も必要ない。教師なし学習で分割単位(subword)を学習。
    • 逆に言えば人間の感覚ではおかしな単語分割がされることもある。また学習テキストが変われば分割結果が変わる。
  • テキストの圧縮率をベースに最適化し、辞書規模を圧縮。

記事

(感想・要望・情報提供) 
· 最終更新: 2021/08/28 14:24 by admin

(広告募集)