3種類の辞書による自動単語分割の精度向上

 著者
 森 伸介、小田 祐樹   
 タイトル 3種類の辞書による自動単語分割の精度向上
 学会 
 ID:ページ:年ISSN 1340-7619:Vol. 18 (2011) , No. 2 pp.139-152:2011
 URLhttp://www.jstage.jst.go.jp/article/jnlp/18/2/18_139/_article/-char/ja/

自動単語分割の精度向上を図る新しい方法の提案。
複合語を参照することができることが特徴。

現在の自動単語分割器は一般的な分野のコーパスから構築されており、上述のような様々な分野の分を高い精度で単語分割できない。

複合語
内部の単語分割情報が与えられておらず、かつ両端が単語境界であるという保証がない文字列。

使用する3種類の辞書

|:単語境界がある。
 - :単語教会がない。
 _:単語境界の有無が不明

単語辞書
単語からなる辞書
|言-語|
単語列辞書
単語の列からなる辞書
|計-算|言-語|学|
複合語辞書
単語の連接である文字列からなる辞書。
両端に単語境界があるが文字列内部の単語境界情報は不明
|計_算_言_語_学|



Comments