形態素解析:単語分割

単語分割

単語分割とは

形態素解析の部分処理で、テキストを入力して単語に分割して出力する処理。日本語の単語分割は分かち書きとも呼ぶ。単語分割器は英語で tokenizer。
いわゆるサブワード分割なども単語分割に含める。

Vaporetto

2021-09-28 | 速度の高みを目指す：高速な単語分割器 Vaporetto の技術解説

記事

2023-06-14 | Metaの大規模言語モデル「LLaMa」に入力した文章がどのようなトークンとして認識しているかを確認できる「LLaMA-Tokenizer」
2023-04-23 | ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく
2021-09-16 | How to Build a WordPiece Tokenizer For BERT
2020-08-06 | awesome-bert-japanese
- 公開されている学習済み BERT モデルについて，分かち書き・サブワード分割・語彙構築アルゴリズムそれぞれどのアルゴリズムが採用されているかを表にまとめています．
日本語 BERT トークナイズ事情.ipynb - BERT