このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
形態素解析 [2022/06/10 17:47] – ↷ 形態素解析:top から 形態素解析 へページの移動と名称変更しました。 admin | 形態素解析 [2023/06/12 16:57] (現在) – admin | ||
---|---|---|---|
行 1: | 行 1: | ||
===== 形態素解析 ===== | ===== 形態素解析 ===== | ||
=== 形態素解析とは === | === 形態素解析とは === | ||
- | 単語を同定する処理。日本語の場合は[[分かち書き]]されていない言語なので、どの文字からどの文字までが単語なのかを知る必要がある。また、その単語がどのような単語(品詞や読みなど)も知る必要がある。以上まとめると、形態素解析はいくつかの処理に分解できる。 | + | 単語を同定する処理。日本語の場合は[[形態素解析: |
- | * [[単語分割]] | + | * [[形態素解析: |
- | * [[品詞付与]] | + | * [[形態素解析: |
- | * [[読み付与]] (省略または無視する場合がほとんど。ただし音声合成のためには重要) | + | * [[形態素解析: |
- | 日本語の場合は以上を一つの処理(ツール)で行うためまとめて形態素解析と呼んでいる。英語の場合は[[単語分割]]と[[品詞付与]]は別の処理と見なす。よって、形態素解析を英語で説明するときは morphological analysis でも間違いではないが、分かりやすさという意味では tokenization + part-of-speech tagging と呼ぶことをおすすめします。 | + | 日本語の場合は以上を一つの処理(ツール)で行うためまとめて形態素解析と呼んでいる。英語の場合は[[形態素解析: |
形態素解析は、文字通り言えば「形態素」に分解することだが、自然言語処理の「形態素」は日本語学とは異なる意味で使っているので注意(詳しくは長くなるので省略)。先人が語義を誤ってこうなったのかあえてこう呼んでいるのかは不明。 | 形態素解析は、文字通り言えば「形態素」に分解することだが、自然言語処理の「形態素」は日本語学とは異なる意味で使っているので注意(詳しくは長くなるので省略)。先人が語義を誤ってこうなったのかあえてこう呼んでいるのかは不明。 | ||
+ | |||
+ | [[形態素解析: | ||
=== 形態素解析器 === | === 形態素解析器 === | ||
- | 以下では、[[単語分割]]を行う単語分割器(トークナイザ)も含めて紹介する。 | + | 以下では、[[形態素解析: |
- | * [[形態素解析: | + | * [[形態素解析: |
- | * (API)[[gooラボ形態素解析API]] | + | * (API)[[形態素解析:gooラボ形態素解析api]] |
- | * 2022-04-18 | [[https:// | + | |
* 2021-09-14 | [[https:// | * 2021-09-14 | [[https:// | ||
- | * 2021-02-16 | [[https:// | ||
- | * 2020-07-13 | [[http:// | ||
- | * 2020-05-18 | [[https:// | ||
* 2015-08-07 | [[https:// | * 2015-08-07 | [[https:// | ||
=== 単語分割器 === | === 単語分割器 === | ||
- | * [[kakasi]] | + | * [[形態素解析: |
- | * [[tinysegmenter]] | + | * [[形態素解析: |
- | * [[SentencePiece]] | + | * [[形態素解析: |
- | * [[VAporetto]] | + | * [[形態素解析: |
- | * [[BertWordPieceTokenizer]] | + | * [[形態素解析: |
=== 形態素解析辞書 === | === 形態素解析辞書 === | ||
行 34: | 行 32: | ||
=== 形態素解析関連ツール === | === 形態素解析関連ツール === | ||
- | ^Konoha|[[Konoha]]|複数の形態素解析器を統一したコードで書くためのラッパー| | + | * [[形態素解析: |
- | ^morpheme-match|https:// | + | * [[https:// |
+ | |||
+ | === 比較 === | ||
+ | * 2022-09-01 | ||
+ | * 2022-07-02 | [[https:// | ||
+ | * 2022-04-18 | [[https:// | ||
+ | * 2021-02-16 | [[https:// | ||
+ | * 2020-07-13 | [[http:// | ||
+ | * 2020-05-18 | [[https:// | ||
=== 言語・環境 === | === 言語・環境 === | ||
+ | * 2022-12-20 | [[https:// | ||
* 2022-05-20 | [[https:// | * 2022-05-20 | [[https:// | ||
* 2021-10-01 | [[https:// | * 2021-10-01 | [[https:// | ||
行 43: | 行 50: | ||
* 2014-12-09 | [[https:// | * 2014-12-09 | [[https:// | ||
* 2014-08-04 | [[http:// | * 2014-08-04 | [[http:// | ||
+ | |||
+ | === 可視化 === | ||
+ | * 2022-11-20 | [[https:// | ||
=== 記事 === | === 記事 === | ||
+ | * 2023-04-10 | [[https:// | ||
+ | * 2022-10-17 | [[https:// | ||
* 2022-03-25 | [[https:// | * 2022-03-25 | [[https:// | ||
* 2021-10-20 | [[https:// | * 2021-10-20 | [[https:// | ||
行 64: | 行 76: | ||
* 2018-02-27 | [[https:// | * 2018-02-27 | [[https:// | ||
* 2017-06-22 | (スライド) [[https:// | * 2017-06-22 | (スライド) [[https:// | ||
+ | * 2016-06-21 | [[https:// | ||
* 2011-10-19 | (スライド) [[https:// | * 2011-10-19 | (スライド) [[https:// | ||
行 81: | 行 94: | ||
* 2015-12-24 | [[https:// | * 2015-12-24 | [[https:// | ||
- | === 関連ページ === | ||
- | < | ||