ユーザ用ツール

サイト用ツール


サイドバー

(広告募集)

形態素解析:top

形態素解析

形態素解析とは

単語を同定する処理。日本語の場合は分かち書きされていない言語なので、どの文字からどの文字までが単語なのかを知る必要がある。また、その単語がどのような単語(品詞や読みなど)も知る必要がある。以上まとめると、形態素解析はいくつかの処理に分解できる。

日本語の場合は以上を一つの処理(ツール)で行うためまとめて形態素解析と呼んでいる。英語の場合は単語分割品詞付与は別の処理と見なす。よって、形態素解析を英語で説明するときは morphological analysis でも間違いではないが、分かりやすさという意味では tokenization + part-of-speech tagging と呼ぶことをおすすめします。

形態素解析は、文字通り言えば「形態素」に分解することだが、自然言語処理の「形態素」は日本語学とは異なる意味で使っているので注意(詳しくは長くなるので省略)。先人が語義を誤ってこうなったのかあえてこう呼んでいるのかは不明。

形態素解析器

形態素解析辞書

形態素解析関連ツール

KonohaKonoha複数の形態素解析器を統一したコードで書くためのラッパー
morpheme-matchhttps://github.com/azu/morpheme-match日本語を形態素解析したトークンを元に、文章にマッチするかを判定する

記事

形態素解析手法・実装

日本語以外の形態素解析

関連ページ

(感想・要望・情報提供) 
· 最終更新: 2021/12/04 14:50 by admin

(広告募集)