西山 浩気‎ > ‎文献紹介‎ > ‎

2017/10/30 Semi-Supervised sequence tagging with bidirectional language models

概要
 固有表現認識(NER)などの系列ラベリングタスクにおいて、最近のニューラルネットワークを用いた手法では単語の意味を理解するために事前学習を行う手法が一般的である。文中での単語の意味を抽出するためにBi-directional RNN等が利用されるが、そのパラメータ推定には同タスクのラベル付データで足りない場合には他タスクの似たラベルのデータから学習していた。本論文ではNeural Language Model(Neural LM)を使い、辞書等の外部知識や他タスクのラベル付データを利用せずに系列ラベリングを行う。結果としてNER,ChunkingタスクにおいてF1が1ポイント程度改善された。また、Neural LMは異なるドメインで学習した場合であっても精度向上に寄与する。

参考文献

Semi-supervised sequence tagging with bidirectional language models, Matthew E. Peters, Waleed Ammar, Chandra Bhagavatula, Russel Power, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pages 1756–1765, Vancouver, Canada, July 30 - August 4, 2017.


スライド[URL]
Comments