このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
形態素解析:単語分割 [2021/02/07 15:24] – admin | 形態素解析:単語分割 [2023/06/15 16:57] (現在) – admin | ||
---|---|---|---|
行 1: | 行 1: | ||
===== 単語分割 ===== | ===== 単語分割 ===== | ||
- | ==== 単語分割とは | + | === 単語分割とは === |
- | * [[形態素解析]]の部分処理で、テキストを入力して単語に分割して出力する処理。日本語の単語分割は[[分かち書き]]とも呼ぶ。 | + | * [[形態素解析:]]の部分処理で、テキストを入力して単語に分割して出力する処理。日本語の単語分割は[[分かち書き]]とも呼ぶ。単語分割器は英語で tokenizer。 |
* いわゆる[[サブワード]]分割なども単語分割に含める。 | * いわゆる[[サブワード]]分割なども単語分割に含める。 | ||
- | ==== 記事 ==== | + | === Vaporetto === |
+ | * 2021-09-28 | [[https:// | ||
+ | |||
+ | === 記事 === | ||
+ | * 2023-06-14 | [[https:// | ||
+ | * 2023-04-23 | [[https:// | ||
+ | * 2021-09-16 | [[https:// | ||
* 2020-08-06 | [[https:// | * 2020-08-06 | [[https:// | ||
* 公開されている学習済み BERT モデルについて, 分かち書き・サブワード分割・語彙構築アルゴリズムそれぞれどのアルゴリズムが採用されているかを表にまとめています. | * 公開されている学習済み BERT モデルについて, 分かち書き・サブワード分割・語彙構築アルゴリズムそれぞれどのアルゴリズムが採用されているかを表にまとめています. | ||
- | * [[https:// | + | * [[https:// |