形態素解析:sentencepiece

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

--- 形態素解析:sentencepiece [2021/02/07 15:31] – ↷ sentencepiece から形態素解析:sentencepiece へページを移動しました。 admin
+++ 形態素解析:sentencepiece [2023/06/10 15:22] (現在) – admin
@@ 行 5: / 行 5: @@
     * 逆に言えば人間の感覚ではおかしな単語分割がされることもある。また学習テキストが変われば分割結果が変わる。
   * テキストの圧縮率をベースに最適化し、辞書規模を圧縮。
+  * 2017-04-07 | [[https://qiita.com/taku910/items/7e52f1e58d0ea6e7859c|Sentencepiece : ニューラル言語処理向けトークナイザ]] -- 作成者(工藤さん)による解説記事
-==== リンク ====
+==== 記事 ====
+  * 2023-04-13 | [[https://qiita.com/taku910/items/fbaeab4684665952d5a9|Sentencepiece の分割を MeCab っぽくする]]
+  * 2021-08-23 | [[https://self-development.info/lstm-rnn%E3%81%AB%E3%82%88%E3%82%8B%E6%96%87%E7%AB%A0%E7%94%9F%E6%88%90%E3%81%A7%E5%BF%85%E8%A6%81%E3%81%AAsentencepiece%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB/|LSTM (RNN)による文章生成で必要なSentencePieceのインストール]]
+  * 2021-06-08 | [[https://radiology-nlp.hatenablog.com/entry/2021/06/08/013549|SentencePieceでの日本語分かち書きをTransformersのパイプラインに組み込む]]
   * 2020-12-09 | [[https://techplay.jp/column/1423|【自然言語処理：SentencePiece 0.1.9】概要]]
   * 2020-05-14 | [[https://applingo.tokyo/article/1252|Wikipediaから日本語コーパスを利用してSentencePieceでトークナイズ(分かち書き)]] - [[形態素解析:分かち書き]]

(感想・要望・情報提供)　

.gz · 最終更新: 2021/02/07 15:31 by admin

(広告募集)