文献紹介 4

ルールベース翻訳を前処理に用いた統計翻訳
福田 智大、 村上 仁一、徳久 雅人、池原 悟  (鳥取大学工学部知能情報工学科)

目的
機械翻訳の精度向上

統計翻訳は構文構造が似ている場合の翻訳精度が高いため、日本語をルールベース翻訳により英語に変えた後で、英英統計翻訳を行うことで、精度向上を計る。

手法
1.前処理として、日本語文(学習データ、テストデータ、ディベロップメントデータ)をルールベース翻訳で英語文に変換
2.学習データの変換された英語文と日英対訳コーパスの英語文を用いて翻訳モデルの生成
3.日英対訳コーパスの英語文で言語モデルを作成
4.以上を用いて英英統計翻訳

実験データ
単文コーパス(辞書の182,899文から学習データ10万文、テストデータ10万文、ディベロップメントデータ1000文)
重文複文コーパス(辞書の122,719文から学習データ10万文、テストデータ10万文、ディベロップメントデータ1000文)
ルールベース翻訳にATLAS V12(富士通)と翻訳の王様Version5(IBM)を使用。

評価実験
そのまま統計翻訳を行ったものをベースラインとし、提案手法と比較評価。
BLEUとMETEORを使った自動評価と人手での評価を行う。

自動評価の結果はBLEU、METEORともに提案手法の方がいいスコアを出していた。
人手評価においてもベースラインより提案手法の方がいい結果となった。
しかし、提案手法とルールベース翻訳のみを人手で比べた場合、単文に関してはあまり差がなく、重文複文ではルールベース翻訳の方がいいという結果になっていた。
これは、学習データとテストデータが同じ分野であり、統計翻訳によって分野に適応した文が出力され、自動評価においてスコアが高くなったことがあげられる。


考えたこと
この研究はNLP2012であった同大学の方の「文型パターン辞書により原言語を中間言語に変換した日英統計翻訳」のもとになっている研究?
ルールベースと統計翻訳を組み合わせる場合、別々な感じで組み合わせても大きな精度向上には結びつかない
評価についてはやはり人手によるものが一番信頼できるため、自動評価はあくまで指標?くらいに思っておくのがいい?
Comments