自然言語処理の餅屋

https://www.jnlp.org/

ユーザ用ツール

サイト用ツール

現在位置: 自然言語処理の餅屋 » 構文解析
構文解析:top

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
構文解析:top [2021/10/10 17:31] – ↷ 移動操作に合わせてリンクを書き換えました。 admin構文解析:top [2022/10/22 17:33] (現在) – admin
行 1: 行 1:
 ===== 構文解析 ===== ===== 構文解析 =====
-==== 構文解析とは ====+=== 構文解析とは ===
 単語間の関係を明らかにする処理のこと。統語解析と呼ぶこともあるが最近はほとんど聞かない。英語ではparsing。 単語間の関係を明らかにする処理のこと。統語解析と呼ぶこともあるが最近はほとんど聞かない。英語ではparsing。
 正確には下記の２種類ある。 正確には下記の２種類ある。
行 6: 行 6:
   * [[句構造解析]]   * [[句構造解析]]
     * まとまり（句、節、文）を決める処理。有名な例では I see a girl with a telescope. という文で with a telescopeがgirlにかかるのかsee にかかるのかという問題(PP attachment問題)をa girl with a telescopeが一つの名詞句になるかどうかで表現する     * まとまり（句、節、文）を決める処理。有名な例では I see a girl with a telescope. という文で with a telescopeがgirlにかかるのかsee にかかるのかという問題(PP attachment問題)をa girl with a telescopeが一つの名詞句になるかどうかで表現する
-  * [[係り受け解析]]（または[[係り受け解析]]）+  * [[依存構造解析]]（または[[係り受け解析]]）
     * 係り先を決める処理。「大きな植木鉢の花」で「大きな」は植木鉢を指すのか花を指すのかを直接表現する。仮定として、すべての単語は必ずどこかにかかるとする。     * 係り先を決める処理。「大きな植木鉢の花」で「大きな」は植木鉢を指すのか花を指すのかを直接表現する。仮定として、すべての単語は必ずどこかにかかるとする。
 言語的性格から英語の場合は通常前者、日本語の場合は通常後者が用いられる。よって、英語の自然言語処理の本では構文解析の説明で句構造解析の話（＝英語を処理する話）しか書いていないことも多い。よって、これを読んで日本語も同様にやるのかと誤解してはいけない。 言語的性格から英語の場合は通常前者、日本語の場合は通常後者が用いられる。よって、英語の自然言語処理の本では構文解析の説明で句構造解析の話（＝英語を処理する話）しか書いていないことも多い。よって、これを読んで日本語も同様にやるのかと誤解してはいけない。
  
-==== ツール ====+=== ツール ===
   * [[KNP]]   * [[KNP]]
   * [[CaboCha]]   * [[CaboCha]]
 +  * [[KWJA]]
 +  * [[Yahoo!日本語係り受け解析API]]
 +  * [[ライブラリ:Spacy]]
 +    * 2021-03-02 | [[https://yu-nix.com/blog/2021/3/2/spacy-print-dep-tree/|spaCyで依存構造を自力で出力する【自然言語処理】]]
   * [[https://github.com/WorksApplications/kintoki#kintoki|Kintoki]]   * [[https://github.com/WorksApplications/kintoki#kintoki|Kintoki]]
   * [[DiaParser]]   * [[DiaParser]]
行 18: 行 22:
   * [[https://github.com/KoichiYasuoka/esupar|esupar]]   * [[https://github.com/KoichiYasuoka/esupar|esupar]]
     * 2021-09-20 | [[https://srad.jp/~yasuoka/journal/649675/|yasuokaの日記： 日本語・中国語・タイ語の係り受け解析モジュールesuparリリース(仮)]]     * 2021-09-20 | [[https://srad.jp/~yasuoka/journal/649675/|yasuokaの日記： 日本語・中国語・タイ語の係り受け解析モジュールesuparリリース(仮)]]
 +  * [[http://www.tkl.iis.u-tokyo.ac.jp/~ynaga/jdepp/|J.DepP - C++ implementation of Japanese Dependency Parsers]]
   * 上記の他、いくつかの[[ライブラリ:]]では構文解析ができます。   * 上記の他、いくつかの[[ライブラリ:]]では構文解析ができます。
  
-==== BERTによる構文解析 ====+=== BERTによる構文解析 ===
   * 2021-02-22 | [[https://srad.jp/~yasuoka/journal/645402/|yasuokaの日記： BERTモデルを用いた日本語係り受け解析ツールSuPar-UniDicリリース]]   * 2021-02-22 | [[https://srad.jp/~yasuoka/journal/645402/|yasuokaの日記： BERTモデルを用いた日本語係り受け解析ツールSuPar-UniDicリリース]]
   * 下記の記事によると[[言語モデル:bert]]で構文解析するとKNP, CaboCha, [[:BiLSTM]]よりも性能がいいらしい。   * 下記の記事によると[[言語モデル:bert]]で構文解析するとKNP, CaboCha, [[:BiLSTM]]よりも性能がいいらしい。
     * 2020-03-12 | [[https://kento1109.hatenablog.com/entry/2020/03/12/114938|（論文）BERTによる日本語構文解析]] - [[言語モデル:bert]]     * 2020-03-12 | [[https://kento1109.hatenablog.com/entry/2020/03/12/114938|（論文）BERTによる日本語構文解析]] - [[言語モデル:bert]]
  
-==== 記事 ====+=== 構文解析器の比較 === 
 +  * 2022-03-13 | [[https://qiita.com/suzuki_sh/items/69fd5b9bb0b8b7c7f720|日本語係り受け解析Pythonライブラリの速度比較]] 
 + 
 +=== 記事 === 
 +  * 2021-12-18 | [[https://srad.jp/~yasuoka/journal/651542/|yasuokaの日記： 日本語係り受け解析器「2021年の総ざらえ」]] 
 +  * 2021-10-27 | [[https://srad.jp/~yasuoka/journal/650429/|yasuokaの日記： 日本語「長単位」解析モジュールbert-{base,large}-japanese-luw-pos仮リリース]] 
 +  * 2021-10-16 | [[http://kanji.zinbun.kyoto-u.ac.jp/~yasuoka/publications/kakariuke.html|日本語の構文解析における3つの「係り受け」]]
   * 2021-05-10 | [[https://leadinge.co.jp/rd/2021/05/10/696/|自然言語処理入門　Vol.2 係り受け解析/構文解析]]   * 2021-05-10 | [[https://leadinge.co.jp/rd/2021/05/10/696/|自然言語処理入門　Vol.2 係り受け解析/構文解析]]
   * 2020-12-02 | [[https://srad.jp/~yasuoka/journal/643631/|yasuokaの日記： 日本語係り受け解析器「2020年の総ざらえ」]]   * 2020-12-02 | [[https://srad.jp/~yasuoka/journal/643631/|yasuokaの日記： 日本語係り受け解析器「2020年の総ざらえ」]]
行 33: 行 44:
   * 2016-12-22 | [[http://tatamo.81.la/blog/2016/12/22/lr-parser-generator-implementation/|LR(1)パーサジェネレータを自作して構文解析をする 第1回:かんたん構文解析入門]]   * 2016-12-22 | [[http://tatamo.81.la/blog/2016/12/22/lr-parser-generator-implementation/|LR(1)パーサジェネレータを自作して構文解析をする 第1回:かんたん構文解析入門]]
  
-==== 関連ページ ====+=== 関連ページ ===
   * [[UD]] (Universal Dependencies)   * [[UD]] (Universal Dependencies)
  
  
(感想・要望・情報提供)　
.gz · 最終更新: 2021/10/10 17:31 by admin

ページ用ツール

(広告募集)