形態素解析:分かち書き

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

--- 形態素解析:分かち書き [2021/02/07 15:19] – ↷ 分かち書きから形態素解析:分かち書きへページを移動しました。 admin
+++ 形態素解析:分かち書き [2021/02/07 15:23] (現在) – admin
@@ 行 1: / 行 1: @@
-===== 分かち書き =====
+~~GOTO>形態素解析:単語分割~~
-==== 分かち書きとは ====
-  * テキストを入力し、単語に分割して出力する処理。単語分割とも呼ぶ。
-  * いわゆるサブワード分割なども分かち書きに含める。
-==== 記事 ====
-  * 2020-08-06 | [[https://github.com/himkt/awesome-bert-japanese#awesome-bert-japanese|awesome-bert-japanese]]
-    * 公開されている学習済み BERT モデルについて， 分かち書き・サブワード分割・語彙構築アルゴリズムそれぞれどのアルゴリズムが採用されているかを表にまとめています．
-  * [[https://colab.research.google.com/drive/1Gzkcmg25Z82DBedzA55DJTnMxyA8b5-o?usp=sharing|日本語 BERT トークナイズ事情.ipynb]] - [[BERT]]

(感想・要望・情報提供)　

.gz · 最終更新: 2021/02/07 15:19 by admin

(広告募集)