https://www.jnlp.org/ https://www.jnlp.org/nlp/ 2026-05-01T03:22:34+00:00 https://www.jnlp.org/nlp/ https://www.jnlp.org/nlp/_media/logo.png text/html 2021-12-18T06:38:25+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/awabi?rev=1639809505&do=diff awabi GitHub<https://gist.github.com/nakagami/f718e4a5b08cc39d9902ed129fa69bc6>説明<https://nakagami.blog.ss-blog.jp/2020-12-02> awabi は、MeCab 辞書を使用した形態素解析器。 * 2021-12-03 | 形態素解析器 Awabi.jl と、初めて Julia を書いた感想　[julia] text/html 2022-06-04T09:22:50+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/bertwordpiecetokenizer?rev=1654334570&do=diff BertWordPieceTokenizer * 2022-05-27 | 新しく日本語BERTのトークナイザを学習するときは limit_alphabet に気をつけよう * 2021-02-26 | 日本語でHugging Face Tokenizersを動かす text/html 2022-06-10T08:48:09+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/chasen?rev=1654850889&do=diff ChaSen ChaSen -- 形態素解析器<https://chasen-legacy.osdn.jp/> * 2022-03-09 | Windows環境のPythonで形態素解析器 -- ChaSen -- を使う方法 * 2022-01-15 | 使いやすくなった自然言語処理のフリーソフト-知っておきたいツールの中身-：形態素解析システム「茶筌」 * 2019-05-04 | 形態素解析器を作るためにChaSen辞書の構造を読み解く text/html 2021-06-20T04:39:42+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/comainu?rev=1624163982&do=diff Comainu 記事 * 中・長単位解析器 Comainu text/html 2022-06-18T08:04:03+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/goo%E3%83%A9%E3%83%9C%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90api?rev=1655539443&do=diff gooラボ形態素解析API gooラボ形態素解析API<https://labs.goo.ne.jp/api/jp/morphological-analysis/> * 2021-10-28 | goo形態素解析APIをGoogle Apps Script(GAS)で利用する方法 text/html 2021-12-04T05:50:56+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/goya?rev=1638597056&do=diff Goya * 2021-11-27 | WebAssemblyの形態素解析器GoyaをRustで作った text/html 2021-07-31T04:53:58+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/igo?rev=1627707238&do=diff Igo Igo - Java形態素解析器 (ver 0.4.3)<https://igo.osdn.jp/> * 2020-12-31 | php igo-phpで形態素解析を使ってみる text/html 2021-02-22T05:05:34+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/ipadic?rev=1613970334&do=diff IPAdic IPAdic legacy<https://ja.osdn.net/projects/ipadic/> * IPAdicとは形態素解析の辞書のことで、IPA辞書とも呼ぶ。mecab-ipadic はこの辞書をMeCabで読み込み可能な形式にしたもの。 * ChaSenや用の辞書として、おそらく形態素解析用辞書として日本で最も使われていると推測される（2021年現在）。 text/html 2022-12-09T07:06:06+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/janome?rev=1670569566&do=diff Janome Janomeとは 器。辞書、言語モデルともにのデフォルトシステム辞書をそのまま使っているので、と同等の解析結果になる。 記事 * 2022-11-18 | Python 連携による形態素解析 * 2022-11-05 | Janomeが半角記号を「名詞,サ変接続」と認識するのを変更する * 2022-08-24 | 形態素解析はJanomeが楽ちん * 2022-08-01 | 形態素解析器（Janome）を使いこなしたい！ * 2021-09-22 | text/html 2022-06-10T08:48:09+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/juman?rev=1654850889&do=diff JUMAN 日本語形態素解析システム JUMAN<http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN> 記事 * (参考) JUMAN++ text/html 2022-10-22T08:41:39+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/jumanpp?rev=1666428099&do=diff JUMAN++ 日本語形態素解析システム JUMAN++<http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++> JUMAN++とは * 京都大学黒橋研究室の日本語器。 * RNNによる言語モデル * v2 はJUMANやよりも大きく性能が向上 記事 * 2022-09-26 | JUMAN++を入れてサクッと形態素解析してみる * 2022-07-01 | 【形態素解析ツール】Juman++ ver2 の使い方 * 2020-01-17 | 【CentOS7】juman++ のインストール * 2016-11-01 | text/html 2022-12-09T05:27:10+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/kagome?rev=1670563630&do=diff kagome kagome v2<https://github.com/ikawaha/kagome#kagome-v2> kagome はGo言語で書かれた器。 Kagome * Kagome is an open source Japanese morphological analyzer written in pure Go. The dictionary/statistical models such as MeCab-IPAdic, UniDic (unidic-mecab) and so on, are able to be embedded in binaries. text/html 2021-02-07T23:37:49+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/kakasi?rev=1612741069&do=diff kakasi kakasi は日本語の器（分かち書きのみ）。 記事 * Windowsで「kakasi」のコマンドを使い，日本語文章を単語に分解，ローマ字変換する方法 （kakasiで形態素解析するWindowsバッチのサンプルコード） - Windows text/html 2021-02-07T06:41:18+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/konoha?rev=1612680078&do=diff Konoha Konohaは複数の器を統一したコードで書くためのラッパー Konoha: Simple wrapper of Japanese Tokenizers<https://github.com/himkt/konoha#-konoha-simple-wrapper-of-japanese-tokenizers>konoha 4.6.2<https://pypi.org/project/konoha/> text/html 2022-06-10T08:48:09+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/kuromoji?rev=1654850889&do=diff kuromoji 日本語<https://www.atilika.com/ja/kuromoji/>英語<https://www.atilika.org/> kuromojiとは Javaで開発したオープンソース日本語形態素解析エンジン。 記事 * 2021-08-29 | Kuromojiであっさり形態素解析 * 2021-01-06 | Kuromoji（形態素解析）を２分で使えるようにする方法（Java） * 2020-12-09 | Elasticsearchで日本語の形態素解析を行おう。 * 2018-09-22 | 日本語形態素解析エンジンKuromojiについて調べた * 2018-08-17 | Spark StreamingでTwitter構文解析 (Twitter4J利用) - Twitter - Qiita * 2017-02-13 | Kuromojiについて * 2016-09-15 | Javaで形態素解析と辞書のカスタマイズ kuromoji.js… text/html 2021-05-29T06:12:54+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/kytea?rev=1622268774&do=diff Kytea Kyteaとは * 器。 * 点予測による単語分割と品詞付与を採用し、未知語に対して頑健。 * 部分的アノテーションによるモデル学習が可能で、分野適用が容易。 * 読み推定が可能。 記事 * 2021-05-19 | text/html 2023-06-10T09:18:15+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/lindera?rev=1686388695&do=diff Lindera Lindera<https://github.com/lindera-morphology/lindera> Lindera はRust製の形態素解析器。 記事 * 2023-05-22 | Rustの形態素解析ライブラリ - VibratoとLindera * 2021-12-24 | Rust + wasmでJS向けの形態素解析ライブラリを作ってnpmで公開する * 2020-12-22 | Rust製の形態素解析器Linderaを使って日本語の語数を数える * 2020-12-18 | wasm_lindera_example - rust + lindera + webassembly + next.js + typescriptで形態素解析するサンプル * 2020-09-11 | Rust初心者がRust製の日本語形態素解析器の開発を引き継いでみた… text/html 2023-07-26T09:20:53+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/mecab?rev=1690363253&do=diff MeCab MeCab とは 形態素解析器。おそらく現在最も使われており、また最も処理速度が速いと思います。 original<https://taku910.github.io/mecab/>PyPI<https://pypi.org/project/mecab/> 関連資源 * mecab-python3 -- a Python wrapper * fugashi -- a Cython wrapper * fugashi-api-server -- fugashi を利用した、形態素解析を行うAPIサーバ text/html 2021-06-20T04:32:33+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/mozc?rev=1624163553&do=diff Mozc * 2020-11-24 | Mozcの辞書を使ってMeCabでかな漢字変換する - text/html 2022-06-10T08:48:09+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/nagisa?rev=1654850889&do=diff nagisa nagisaとは Pythonで動く形態素解析器。 記事 * 2020-08-13 | nagisa: RNNによる日本語単語分割・品詞タグ付けツール - Qiita * 2019-09-14 | (スライド) Python による日本語自然言語処理 〜系列ラベリングによる実世界テキスト分析〜 / PyCon JP 2019 - blstms, 京都大学ウェブ文書リードコーパス, 固有表現認識 * 2018-09-18 | Pythonで動く形態素解析ツール「nagisa」を使ってみた text/html 2023-06-10T06:22:45+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/sentencepiece?rev=1686378165&do=diff SentencePiece SentencePieceとは * 分かち書きツール(tokenizer)。 * 言語依存処理がなく、いわゆる辞書も必要ない。教師なし学習で分割単位(subword)を学習。 * 逆に言えば人間の感覚ではおかしな単語分割がされることもある。また学習テキストが変われば分割結果が変わる。 text/html 2022-10-22T08:25:29+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/sudachi?rev=1666427129&do=diff Sudachi Sudachiとは ワークスアプリケーションズが作った比較的新しい器です。大きな特徴は、企業が作ったので継続的な更新が期待できること、複数の分割単位で出力できることの２点。徐々に普及することが期待され、今一番おすすめできると思います。 text/html 2022-06-10T08:48:09+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/suika?rev=1654850889&do=diff Suika SuikaはRubyな形態素解析器。 記事 * 2020-10-11 | Rubyな形態素解析器Suikaのトライをdarts-clone.rbにした * 2020-07-05 | SuikaというPure Rubyな形態素解析器を作成した text/html 2021-02-07T06:37:19+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/taiyaki?rev=1612679839&do=diff Taiyaki Taiyaki は器。 記事 * 2019-12-01 | ゼロから作った形態素解析器Taiyakiで学ぶ形態素解析 text/html 2022-06-04T09:13:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/tinysegmenter?rev=1654334007&do=diff TinySegmenter TinySegmenterは、Javascriptだけで書かれた日本語単語分割器（トークナイザー）（品詞付与を行わないので器ではない）。わずか25kバイトのソースコードで、95%程度の精度で分かち書きできる。 text/html 2022-04-29T05:22:59+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/toiro?rev=1651209779&do=diff toiro toiroとは Toiro is a comparison tool of Japanese tokenizers ダウンロード * GitHub text/html 2022-06-10T08:48:45+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/top?rev=1654850925&do=diff この名前空間のページ： * awabi * bertwordpiecetokenizer * chasen * comainu * gooラボ形態素解析api * goya * igo * ipadic * janome * juman * jumanpp * kagome * kakasi * konoha * kuromoji * kytea * lindera * mecab * mozc * nagisa * sentencepiece * sudachi * suika * taiyaki * tinysegmenter * toiro * top * treetagger * unidic * vaporetto * vibrato * yoin * 中古和文unidic * 仮名漢字変換 * 分かち書き * 単語分割 * 品詞付与 * 読み付与 * 辞書… text/html 2022-04-29T05:14:01+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/treetagger?rev=1651209241&do=diff TreeTagger * 2021-07-24 | (動画) ラズパイ活用講座 形態素解析 TreeTagger * koRpus(TreeTagger)の形態素解析結果をRMeCab::docDF()仕様に変換する - rmecab text/html 2023-06-10T09:20:42+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/unidic?rev=1686388842&do=diff UniDic UniDic 短単位とSudachiDict の違い 下記参考ページからの抜粋です。 UniDic では１語となるもの (SudachiDict A単位では２語) * 砕け散る、錆び付く * 赤色、鯖鮨、賄い係 * 本好き、子海豚、仮住まい、右ふくらはぎ text/html 2022-06-18T07:48:40+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/vaporetto?rev=1655538520&do=diff VAporetto VAporetto<https://github.com/daac-tools/vaporetto> python-vaporetto<https://github.com/daac-tools/python-vaporetto> * 2022-03-02 | [DEIM2022] 高速な単語分割器VaporettoとパターンマッチングマシンDaachorseの紹介 text/html 2023-04-08T03:37:39+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/vibrato?rev=1680925059&do=diff Vibrato * 2023-03-06 | [DEIM2023] 高速な形態素解析器Vibratoの紹介 * 2022-12-15 | python-vibrato -- Python wrapper for Vibrato * 2022-09-20 | MeCab互換な形態素解析器Vibratoの高速化技法 * 2022-09-14 | vibrato: VIterbi-Based acceleRAted TOkenizer text/html 2021-02-22T05:06:47+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/yoin?rev=1613970407&do=diff yoin Yoin - A Japanese Morphological Analyzer<https://crates.io/crates/yoin> yoin is a Japanese morphological analyze engine written in pure Rust. mecab-ipadic is embedded in yoin. text/html 2021-06-20T04:39:15+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/%E4%B8%AD%E5%8F%A4%E5%92%8C%E6%96%87unidic?rev=1624163955&do=diff 中古和文UniDic 記事 * 2019-01-20 | MeCabと中古和文UniDicで源氏物語を形態素解析する。 text/html 2023-04-07T04:52:11+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/%E4%BB%AE%E5%90%8D%E6%BC%A2%E5%AD%97%E5%A4%89%E6%8F%9B?rev=1680843131&do=diff 仮名漢字変換 * 2023-03-19 | ChatGPTとGPT-4にかな漢字変換させてみた * 2002-08-18 | 日本語入力プログラムについて考える text/html 2021-02-07T06:23:15+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/%E5%88%86%E3%81%8B%E3%81%A1%E6%9B%B8%E3%81%8D?rev=1612678995&do=diff text/html 2023-06-15T07:57:18+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/%E5%8D%98%E8%AA%9E%E5%88%86%E5%89%B2?rev=1686815838&do=diff 単語分割 単語分割とは * の部分処理で、テキストを入力して単語に分割して出力する処理。日本語の単語分割は分かち書きとも呼ぶ。単語分割器は英語で tokenizer。 * いわゆるサブワード分割なども単語分割に含める。 text/html 2022-06-10T08:48:09+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/%E5%93%81%E8%A9%9E%E4%BB%98%E4%B8%8E?rev=1654850889&do=diff 品詞付与 品詞付与とは 与えられた単語列に対して、各単語の品詞を同定する処理のこと。の一部。英語では part-of-speech taggingと言う。 仮に各単語に一つの品詞しか可能性がなければ（単語ー品詞の対応関係を予め辞書化しておくことで）ただの辞書引きするだけでよく、何も問題はない。問題なのは品詞の多義性がある場合で、 text/html 2022-12-09T07:03:21+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/%E8%AA%AD%E3%81%BF%E4%BB%98%E4%B8%8E?rev=1670569401&do=diff 読み付与 送り仮名の付与もほぼ同様なのでここに含めます。 ツール kuroshiro<https://github.com/hexenq/kuroshiro>日本語文をローマ字や仮名なとに変換できるライブラリ 記事 * 2022-11-09 | Pythonを使った、形態素解析器での読みの取得 * 2021-09-01 | 転校生を「テンコウナマ」と誤読しないように、読み仮名エンジン改良で99.98％の高精度化 text/html 2023-01-29T08:43:49+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90/%E8%BE%9E%E6%9B%B8?rev=1674981829&do=diff 形態素解析用辞書 JUMAN辞書 * JUMAN辞書 IPAdic * IPAdic * IPAdic legacy * https://ja.osdn.net/projects/ipadic/ NAIST Japanese Dictionary * NAIST Japanese Dictionary UniDic * UniDic * Unidic（国語研短単位自動解析用辞書） * 中古和文UniDic Sudachi辞書 * Sudachi辞書 * SudachiDict * 2020-10-30 | 形態素解析器Sudachiの「辞書」はどのように作られているか: 複数の分割単位を例として 専門辞書 * 2021-04-28 | 公開されている日本の企業名辞書の紹介 * 2014-05-11 | 忍殺語形態素解析辞書「チャドー」がリリース * 2020-07-03 | Japanese Company Lexicon (JCLdic) * 2020-04-20 |…