自然言語処理の餅屋

単語間の関係を明らかにする処理のこと。統語解析と呼ぶこともあるが最近はほとんど聞かない。英語ではparsing。 正確には下記の２種類ある。

• 句構造解析
  • まとまり（句、節、文）を決める処理。有名な例では I see a girl with a telescope. という文で with a telescopeがgirlにかかるのかsee にかかるのかという問題(PP attachment問題)をa girl with a telescopeが一つの名詞句になるかどうかで表現する
• 依存構造解析（または係り受け解析）
  • 係り先を決める処理。「大きな植木鉢の花」で「大きな」は植木鉢を指すのか花を指すのかを直接表現する。仮定として、すべての単語は必ずどこかにかかるとする。

言語的性格から英語の場合は通常前者、日本語の場合は通常後者が用いられる。よって、英語の自然言語処理の本では構文解析の説明で句構造解析の話（＝英語を処理する話）しか書いていないことも多い。よって、これを読んで日本語も同様にやるのかと誤解してはいけない。

• KNP
• CaboCha
• KWJA
• Yahoo!日本語係り受け解析API
• spaCy
  • 2021-03-02 | spaCyで依存構造を自力で出力する【自然言語処理】
• Kintoki
• DiaParser
• PCFGのTypeScript実装 powered by kuromoji.js
• esupar
  • 2021-09-20 | yasuokaの日記： 日本語・中国語・タイ語の係り受け解析モジュールesuparリリース(仮)
• J.DepP - C++ implementation of Japanese Dependency Parsers
• 上記の他、いくつかのライブラリでは構文解析ができます。

• 2021-02-22 | yasuokaの日記： BERTモデルを用いた日本語係り受け解析ツールSuPar-UniDicリリース
• 下記の記事によるとBERTで構文解析するとKNP, CaboCha, BiLSTMよりも性能がいいらしい。
  • 2020-03-12 | （論文）BERTによる日本語構文解析 - BERT

• 2022-03-13 | 日本語係り受け解析Pythonライブラリの速度比較

• 2021-12-18 | yasuokaの日記： 日本語係り受け解析器「2021年の総ざらえ」
• 2021-10-27 | yasuokaの日記： 日本語「長単位」解析モジュールbert-{base,large}-japanese-luw-pos仮リリース
• 2021-10-16 | 日本語の構文解析における3つの「係り受け」
• 2021-05-10 | 自然言語処理入門　Vol.2 係り受け解析/構文解析
• 2020-12-02 | yasuokaの日記： 日本語係り受け解析器「2020年の総ざらえ」
• 2020-12-08 | 「形態素解析」と「係り受け解析」 - 形態素解析
• 2020-09-20 | 自然言語処理のステップ③：「構文解析」とは？
• 2020-06-10 | 自然言語処理勉強結果「形態素解析・構文解析」 - 形態素解析
• 2016-12-22 | LR(1)パーサジェネレータを自作して構文解析をする 第1回:かんたん構文解析入門

• UD (Universal Dependencies)