ユーザ用ツール

サイト用ツール


サイドバー

ことのは研究所220606.jpg

(広告募集)

形態素解析:sentencepiece

SentencePiece

SentencePieceとは

  • 分かち書きツール(tokenizer)。
  • 言語依存処理がなく、いわゆる辞書も必要ない。教師なし学習で分割単位(subword)を学習。
    • 逆に言えば人間の感覚ではおかしな単語分割がされることもある。また学習テキストが変われば分割結果が変わる。
  • テキストの圧縮率をベースに最適化し、辞書規模を圧縮。
  • 2017-04-07 | Sentencepiece : ニューラル言語処理向けトークナイザ – 作成者(工藤さん)による解説記事

記事

(感想・要望・情報提供) 
· 最終更新: 2022/09/14 21:24 by admin

(広告募集)