形態素解析 [自然言語処理の餅屋]

形態素解析

形態素解析

形態素解析とは

単語を同定する処理。日本語の場合は分かち書きされていない言語なので、どの文字からどの文字までが単語なのかを知る必要がある。また、その単語がどのような単語（品詞や読みなど）も知る必要がある。以上まとめると、形態素解析はいくつかの処理に分解できる。

単語分割
品詞付与
読み付与 (省略または無視する場合がほとんど。ただし音声合成のためには重要)

日本語の場合は以上を一つの処理(ツール)で行うためまとめて形態素解析と呼んでいる。英語の場合は単語分割と品詞付与は別の処理と見なす。よって、形態素解析を英語で説明するときは morphological analysis でも間違いではないが、分かりやすさという意味では tokenization + part-of-speech tagging と呼ぶことをおすすめします。

形態素解析は、文字通り言えば「形態素」に分解することだが、自然言語処理の「形態素」は日本語学とは異なる意味で使っているので注意（詳しくは長くなるので省略）。先人が語義を誤ってこうなったのかあえてこう呼んでいるのかは不明。

仮名漢字変換は形態素解析と関係の深い技術。

形態素解析器

以下では、単語分割を行う単語分割器（トークナイザ）も含めて紹介する。

MeCab／Sudachi／ChaSen／JUMAN／JUMAN++／Kytea／kuromoji／Janome／kagome／Suika／Lindera／Taiyaki／yoin／Igo／Goya／Vibrato
（API）gooラボ形態素解析API
2021-09-14 | yasuokaの日記： bert-base-japanese-uposとTokenClassificationPipelineでおこなう日本語形態素解析
2015-08-07 | ジャストシステムの形態素解析技術その2 機械学習編

単語分割器

形態素解析辞書

形態素解析辞書

形態素解析関連ツール

Konoha – 複数の形態素解析器を統一したコードで書くためのラッパー
morpheme-match – 日本語を形態素解析したトークンを元に、文章にマッチするかを判定する

比較

2022-09-01 | 形態素解析器の違いで分かち書きに違いが出るのか実験してみた
2022-07-02 | 形態素解析器をいろいろ試す
2022-04-18 | 形態素解析器の比較アプリを作ってみた【NEologd】
2021-02-16 | spaCy vs. MeCab vs. UDPipe - Rで日本語形態素解析対決!
2020-07-13 | 形態素解析器比較 Sudachi vs Mecab+Neologd
2020-05-18 | 2019年末版形態素解析器の比較

言語・環境

2022-12-20 | capsuletower – 日本語の形態素解析ができるShinyアプリ
2022-05-20 | Juliaで形態素解析
2021-10-01 | Rubyではじめる形態素解析
2021-05-04 | C#で形態素解析をしてみる – C#
2014-12-09 | PHPで形態素解析を行う（gooラボ版）
2014-08-04 | Googleスプレッドシート上で形態素解析

可視化

2022-11-20 | テキストを形態素解析して品詞ごとに色付けする

記事

2023-04-10 | ChatGPTについて考える (3) 形態素解析はどこへ行った?
2022-10-17 | The Importance of Morphological Analysis in Japanese Search Engines
2022-03-25 | 【テキストマイニング研究室：第１回】テキストマイニングの基礎技術 “形態素解析” とは？
2021-10-20 | 公開！週末研究ノート０３ー形態素解析と正答率、実行時間の関係
2021-10-19 | yasuokaの日記： Transformersとbert-base-japanese-char-extendedとUD_Japanese-GSDで作る日本語「長単位」形態素解析器
2021-04-27 | 計算言語学ー形態素解析
2021-04-09 | (動画) 自然言語処理：形態素解析とは？
2021-04-12 | 自然言語処理入門　Vol.1 形態素解析
2021-03-08 | 形態素解析を行うだけのバッチをつくる
2021-03-07 | 【入門】ファイルを形態素解析して単語の数を数えてみよう！
2020-11-16 | 自然言語処理の形態素解析について調べたまとめ
2020-09-29 | 自然言語処理1　形態素解析
2020-09-28 | 形態素解析のための現代国文法入門(001) 格助詞
2020-09-17 | 自然言語処理のステップ②：「形態素解析」とは？
2020-08-30 | 自然言語処理のステップ①：「分かち書き」とは？ - 分かち書き
2020-08-04 | 形態素解析とテキストマイニング
2020-06-16 | 「気まぐれな単語分割(サブワード正則化)」で低頻度語に頑健な機械翻訳を目指すBPE-Dropoutとは - AI-SCHOLAR
2019-07-21 | (動画) 【教えて】形態素解析って何。素人でも分かるように解説。
2019-05-28 | 形態素解析に代表される自然言語処理の仕組みやツールまとめ
2018-02-27 | イベントレポート | 実務で使う自然言語処理をする #サポーターズCoLab - 重要度, 分類
2017-06-22 | (スライド) 形態素解析の話 - ワークスアプリケーションズ
2016-06-21 | 形態素解析とは | 意味・用途・3種のツール・ライブラリを解説
2011-10-19 | (スライド) 形態素解析の過去・現在・未来

形態素解析手法・実装

2021-06-23 | 形態素解析の精度向上を頑張った話
2020-10-21 | darts-cloneを使って最長一致法で分かち書きしてみる
2020-07-24 | Go製ダブル配列パッケージと最長一致法を使った形態素解析の実装 - Go

日本語以外の形態素解析

(感想・要望・情報提供)　

· 最終更新: 2023/06/12 16:57 by admin

(広告募集)