https://www.jnlp.org/ https://www.jnlp.org/nlp/ 2026-05-04T14:42:56+00:00 https://www.jnlp.org/nlp/ https://www.jnlp.org/nlp/_media/logo.png text/html 2022-04-29T05:37:45+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/top?rev=1651210665&do=diff この名前空間のページ： * top * やさしい日本語 * 不要語 * 同義語 * 品詞 * 固有表現 * 多義語 * 少数言語 * 文字 * 文字コード * 自然言語 text/html 2023-02-09T03:36:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E3%82%84%E3%81%95%E3%81%97%E3%81%84%E6%97%A5%E6%9C%AC%E8%AA%9E?rev=1675913787&do=diff やさしい日本語 平易化、表記統一のページも参照。 コーパス SNOW T15:やさしい日本語コーパス<https://www.jnlp.org/GengoHouse/snow/t15>SNOW T23:やさしい日本語拡張コーパス <https://www.jnlp.org/GengoHouse/snow/t23> 辞書 * 2021-07-04 | やさしい日本語じしょ 記事 * 2022-07-05 | 「『やさしい日本語』変換サービス」を提供開始　ホームページ上の文章をAIが解析し、在留外国人に伝わりやすい「やさしい日本語」へ変換 * 2022-02-27 | 「やさしい日本語」は在留外国人にとって「やさしい」のか？ * 2020-10-13 | 翻訳機にも日本人にも伝わりやすい日本語「プレイン・ジャパニーズ」って何？ * 2020-09-14 |… text/html 2023-09-15T07:57:43+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E4%B8%8D%E8%A6%81%E8%AA%9E?rev=1694764663&do=diff 不要語 不要語(ストップワード) * 2020-12-26 | 日本語のストップワードを削除するモジュールをpiplに上げたのでその共有 * 2019-05-31 | 【自然言語処理入門】日本語ストップワードの考察【品詞別】 text/html 2023-04-08T03:29:46+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E5%90%8C%E7%BE%A9%E8%AA%9E?rev=1680924586&do=diff 同義語 Sudachi同義語辞書、chikkarpyも参照。 * 2023-03-06 | 特定のドメインのテキストから同義語候補を取り出すために色々検証した話 * 2022-02-10 | ログデータと言語モデルを用いた同義語辞書の自動構築 * 2021-12-17 | Elasticsearchで日本語を同義語展開する * 2021-02-26 | Elasticsearchのkuromoji tokenizerと同義語辞書の挙動 text/html 2022-07-02T01:52:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E5%93%81%E8%A9%9E?rev=1656726752&do=diff 品詞 * 2021-09-14 | JUMAN品詞体系 * 2021-09-14 | IPA品詞体系 * 2021-09-14 | Unidic品詞体系 助詞 * 2022-07-02 | 【テキストマイニング研究室：第6回】 自然言語処理の基礎知識： “助詞”とは？ text/html 2023-01-29T07:49:03+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E5%9B%BA%E6%9C%89%E8%A1%A8%E7%8F%BE?rev=1674978543&do=diff 固有表現 固有表現認識も参照。 定義 拡張固有表現<http://ene-project.info/>理化学研究所 固有表現データ アノテーションも参照 Geolonia 住所データ<https://geolonia.github.io/japanese-addresses/>全国の町丁目レベル（189,540件）の住所データのオープンデータ ツール ja-timex<https://github.com/yagays/ja-timex>自然言語で書かれた時間情報表現を抽出/規格化するルールベースの解析器 text/html 2022-04-29T05:38:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E5%A4%9A%E7%BE%A9%E8%AA%9E?rev=1651210694&do=diff 多義語 * 2019-03-10 | まぎらわしい、間違えやすい、行き違いの多い短縮名(short name) worst 10 (候補24)。英語(2) text/html 2021-06-20T04:15:21+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E5%B0%91%E6%95%B0%E8%A8%80%E8%AA%9E?rev=1624162521&do=diff 少数言語 * 2021-05-27 | 低リソース言語への転移学習のためのメタ表現変換 : MetaXL text/html 2022-06-18T07:47:44+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E6%96%87%E5%AD%97?rev=1655538464&do=diff 文字 文字コード * 文字コード データ構造 * 2021-09-29 | シンプルで強いFrontCoding文字列辞書を紹介したい 言語モデル * 2018-08-31 | 文字ベース言語モデルの作り方 漢字 kanjivg-radical<https://github.com/yagays/kanjivg-radical>漢字と「パーツ」の相互変換 * 2020-04-13 | 【小学校で習う漢字を調べる】 ひらがな * 2021-04-05 | 【ルビ振り】形態素解析で取得した読みがなが原文のどの文字と対応するか調べる【javascript】 - JavaScript * 2015-11-03 | ひらがな化API 全角・半角… text/html 2022-09-14T11:23:13+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E6%96%87%E5%AD%97%E3%82%B3%E3%83%BC%E3%83%89?rev=1663154593&do=diff 文字コード Unicode正規化 表記統一もご覧ください。 * 2022-08-25 | Rustでテキストの表記ゆれの直したい * 2021-09-15 | Unicode正規化とは text/html 2022-04-29T05:38:56+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E?rev=1651210736&do=diff 自然言語 自然言語(natural language)とは 人間の使う言語のこと。自然な言語という意味ではないので注意。例えば我々が使う下手な外国語やSNSなどでの崩れた日本語もすべて自然言語です。