このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
構文解析:top [2021/10/10 17:31] – ↷ 移動操作に合わせてリンクを書き換えました。 admin | 構文解析:top [2022/10/22 17:33] (現在) – admin | ||
---|---|---|---|
行 1: | 行 1: | ||
===== 構文解析 ===== | ===== 構文解析 ===== | ||
- | ==== 構文解析とは | + | === 構文解析とは === |
単語間の関係を明らかにする処理のこと。統語解析と呼ぶこともあるが最近はほとんど聞かない。英語ではparsing。 | 単語間の関係を明らかにする処理のこと。統語解析と呼ぶこともあるが最近はほとんど聞かない。英語ではparsing。 | ||
正確には下記の2種類ある。 | 正確には下記の2種類ある。 | ||
行 6: | 行 6: | ||
* [[句構造解析]] | * [[句構造解析]] | ||
* まとまり(句、節、文)を決める処理。有名な例では I see a girl with a telescope. という文で with a telescopeがgirlにかかるのかsee にかかるのかという問題(PP attachment問題)をa girl with a telescopeが一つの名詞句になるかどうかで表現する | * まとまり(句、節、文)を決める処理。有名な例では I see a girl with a telescope. という文で with a telescopeがgirlにかかるのかsee にかかるのかという問題(PP attachment問題)をa girl with a telescopeが一つの名詞句になるかどうかで表現する | ||
- | * [[係り受け解析]](または[[係り受け解析]]) | + | * [[依存構造解析]](または[[係り受け解析]]) |
* 係り先を決める処理。「大きな植木鉢の花」で「大きな」は植木鉢を指すのか花を指すのかを直接表現する。仮定として、すべての単語は必ずどこかにかかるとする。 | * 係り先を決める処理。「大きな植木鉢の花」で「大きな」は植木鉢を指すのか花を指すのかを直接表現する。仮定として、すべての単語は必ずどこかにかかるとする。 | ||
言語的性格から英語の場合は通常前者、日本語の場合は通常後者が用いられる。よって、英語の自然言語処理の本では構文解析の説明で句構造解析の話(=英語を処理する話)しか書いていないことも多い。よって、これを読んで日本語も同様にやるのかと誤解してはいけない。 | 言語的性格から英語の場合は通常前者、日本語の場合は通常後者が用いられる。よって、英語の自然言語処理の本では構文解析の説明で句構造解析の話(=英語を処理する話)しか書いていないことも多い。よって、これを読んで日本語も同様にやるのかと誤解してはいけない。 | ||
- | ==== ツール | + | === ツール === |
* [[KNP]] | * [[KNP]] | ||
* [[CaboCha]] | * [[CaboCha]] | ||
+ | * [[KWJA]] | ||
+ | * [[Yahoo!日本語係り受け解析API]] | ||
+ | * [[ライブラリ: | ||
+ | * 2021-03-02 | [[https:// | ||
* [[https:// | * [[https:// | ||
* [[DiaParser]] | * [[DiaParser]] | ||
行 18: | 行 22: | ||
* [[https:// | * [[https:// | ||
* 2021-09-20 | [[https:// | * 2021-09-20 | [[https:// | ||
+ | * [[http:// | ||
* 上記の他、いくつかの[[ライブラリ: | * 上記の他、いくつかの[[ライブラリ: | ||
- | ==== BERTによる構文解析 | + | === BERTによる構文解析 === |
* 2021-02-22 | [[https:// | * 2021-02-22 | [[https:// | ||
* 下記の記事によると[[言語モデル: | * 下記の記事によると[[言語モデル: | ||
* 2020-03-12 | [[https:// | * 2020-03-12 | [[https:// | ||
- | ==== 記事 ==== | + | === 構文解析器の比較 === |
+ | * 2022-03-13 | [[https:// | ||
+ | |||
+ | === 記事 === | ||
+ | * 2021-12-18 | [[https:// | ||
+ | * 2021-10-27 | [[https:// | ||
+ | * 2021-10-16 | [[http:// | ||
* 2021-05-10 | [[https:// | * 2021-05-10 | [[https:// | ||
* 2020-12-02 | [[https:// | * 2020-12-02 | [[https:// | ||
行 33: | 行 44: | ||
* 2016-12-22 | [[http:// | * 2016-12-22 | [[http:// | ||
- | ==== 関連ページ | + | === 関連ページ === |
* [[UD]] (Universal Dependencies) | * [[UD]] (Universal Dependencies) | ||