[[:|言語商会]]>[[:lab:|旧研究室]]>[[:SNOW:|SNOW]] ~~NOTOC~~ ===== SNOW D11:話題分類単語辞書 ===== === Name in English === * SNOW D11: Japanese word list with topics === 内容 === * 日本語の「単語」に対して【話題】を付与した辞書です。 * 例えば、「ホームルーム」という単語を聞くだけでそれが【学校】の話題であることは容易に想像できます。同様に、「プロポーズする」であれば【恋愛】、「盛り付け」であれば【料理】の話であることが分かります。このように、想起できる単語に対して話題(分野・場面)を記述した辞書(単語集)を作成しました。 * シソーラス(is-aオントロジー)は話題を同定するための言語資源ではないので、(一部しか)話題を知ることができません。例えば、シソーラスでは校庭は場所、黒板は道具、教師は人の下位分類となっているはずで、これら単語が共通の【学校】という話題を持っているという情報は得られません。また、TF-IDFやLDAとの比較は下記文献[1]で行っています。 * 対象となる単語は日本語単語です。 * ここで言う「単語」とは、日本語解析器雪だるまで1単語として解析されるものです。雪だるまで2単語以上となる複合語等は収録していませんし、MeCab (IPADIC)など他の形態素解析器での単語体系とは一致しません。 * 品詞の制限は行っていませんが、主に名詞や動詞が付与対象になっています。 * 特定の話題が想起されない単語、すなわち話題に関係なく広く使われる単語は辞書に掲載していません。 * できるだけ**1単語1話題**となるように調整しました。ただし下記の例のように1単語で複数話題となる例外も認めました。 * 多義のある単語 例)「フォーク」【音楽】【食器】、「フライ」【釣り】【食材】【野球】 * どうしても1話題に限定できない単語 例)「監督」【アニメ】【映画】【野球】、「区間」【数学】【鉄道】 * 付与される話題は、我々で独自に定義した**228話題**です。 * 話題の例: 手芸/手紙・郵便/趣味/秋/柔道/出産・妊娠/書道/将棋/小説・ライトノベル/省エネ/城/植物/職業・労働/食・食事・食品/食器/食材・料理/神社/図書館/水泳・水着/水族館/睡眠/数学/政治・政府/整体・マッサージ/正月・年末/占い・風水/川柳・短歌・俳句/船・ボート・ヨット/選挙/掃除/相撲/葬儀/体操/大学/卓球/地震 * 話題の設定に際し、あえて話題間の階層性は考慮していません。 * 例えば【スポーツ】という話題と【サッカー】という話題には包含関係がありますが、この場合、【スポーツ】の話題が付与される対象からサッカー関連の単語は除いています。 * 例えば【サッカー】が話題だからと言って必ずしも他のスポーツすべてがそれぞれ話題とした訳ではありません。話題として設定するかどうかは、その話題に所属する単語が一定規模(大規模でも小規模でもない)かどうかで決めています。 * 収録単語数:**12,623語** * 辞書の作成方法については下記の関連文献[1]をご覧ください。 * 自動、半自動的な方法でできるだけ効率的に付与し、人手で追加・削除・修正を加えています。 === ダウンロード === * [[https://www.jnlp.org/cgi-priv/download.cgi?id=SNOW/D11|TSVファイル]] (313KB) * ファイルは、順に単語(動詞であれば辞書形)、カテゴリ名を表します。 * 複数の話題がある場合は、複数行に分けて記述しています。よって、1行1単語1話題です。 === 利用制限・免責事項 === * 利用制限は特にありません。 * 再配布は禁止します。 * 本研究室は、本言語資源の内容に関する完全性、正確性、適用性、有用性などいかなる保証も行いません。 また、本研究室は本言語資源の提供の遅延、もしくは中断、または本言語資源の利用、もしくは利用不能に起因して本人または他の第三者が被った損害に対して一切の責任を負いません。 * 研究利用の際は下記の関連文献[1]または[2]を引用いただけると助かります。 === 関連文献 === * [1] 桾澤 優希, 山本 和英. 語の話題に基づく分類辞書の作成. NLP若手の会 第11回シンポジウム, (ポスター発表P06) (2016.8) [[http://box.jnlp.org/arc/16/16YANS-gumizawa.pdf|[原稿]]] [[http://box.jnlp.org/slide/16/16YANS-gumizawa.pdf|[スライド]]] [[http://box.jnlp.org/one/16/16YANS-gumizawa.pdf|[概要]]] [[https://www.youtube.com/watch?v=sgZWH1NUFwI|[プレゼン]]] * [2] 桾澤 優希, 山本 和英. 話題に基づく語義曖昧性解消. 言語処理学会第24回年次大会, pp.248-251 (2018.3) [[http://box.jnlp.org/arc/18/18NLP-gumizawa.pdf|[原稿]]] [[http://box.jnlp.org/slide/18/18NLP-gumizawa.pdf|[ポスター]]] === フィードバック === * 本公開に対する責任はすべて山本にあります。 * 本公開に関するあらゆるご意見・苦情・ご感想は山本にお送りください。 * 辞書内容の改善にご協力いただける方を歓迎します。記述内容に追加や誤りなどがありましたらお送りいただければ改訂します。