相田 太一‎ > ‎

文献のまとめ

統計的機械翻訳(SMT)の確信度


Word-Level Confidence Estimation for Machine Translation using Phrase-Based Translation Models

  • Ueffing et al., 2005
  • ここでの確信度:翻訳結果の単語1つ1つに対し、正誤を自動でラベル付けするもの。
  • 先行研究
    • SMTのN-best
    • Word graph
  • 提案手法
    • Phrase baseのSMT(Zens and Ney, 2004)を基準にして、以下のように算出。
      • 言語モデル(LM)において、ある単語e(i番目の出力)が前2単語(i-1, i-2番目)から生成される確率。
      • 言語対のフレーズペアのうち、ターゲット側のフレーズにeが含まれる確率→全てのソース側のフレーズについて和を取り周辺化。
      • 上2つの積を求める。
      • 他全てのターゲット単語e'でも同様に算出し、正規化する。
  • 確信度の評価にはClassification Error Rate(CER)を使用。
    • (ラベル付けを間違えた数)/(生成された単語の総数):1 - Accuracy?
    • 正しいラベル付けが多いほど良いため、CERは低いほど良い。
    • 既存の手法(N-best, Word graph)よりも良い結果。
  • 様々な機械翻訳システムに適用可能。

ニューラル系における確信度


A Theoretically Grounded Application of Dropout in Recurrent Neural Networks

  • Gal and Gahahramani, 2016
  • dropoutについての研究。次のsemantic parsingにも確信度の指標として用いられている。
  • 従来:Naive dropout RNN
    • 時系列方向:dropoutなし
    • input、output:dropoutあり、異なるmask
  • 提案:Variational RNN
    • 時系列方向:dropoutあり、同じmask
    • input:dropoutあり、同じmask
    • output:dropoutあり、同じmask
    • それぞれ同じ重さを当てている
    • 上図は論文から引用。同じ色は同じmask、重さを用いている。
  • 以下の2つで提案手法の有用性を評価した
    • 言語モデル:perplexityの減少
    • LSTM:error rateの減少速度の改善、悪化も見られた

Confidence Modeling for Neural Semantic Parsing

  • Dong, Quirk and Lapata, 2018


Quality Estimation (QE)


参照訳を必要としない単語分散表現による異言語間類似度を用いた訳文の自動評価

  • 2019年6月:文献紹介 [slide]
  • 藤川、 2018
  • 参照訳、対訳コーパスを用いない手法
  • 英語、日本語それぞれで単語分散表現を学習したあと、英語の最頻出8000語をGoogle翻訳に通して英語-日本語対応の単語ペアを作成
  • 作成した単語ペアを行き来するための線形変換(最小二乗法)をする翻訳行列を作成
    • ”言語が異なっても、単語の関係(ベクトルの関係)は似ている”という性質を利用
  • 重み付きDICE係数、文の単語間類似度でアライメント
  • EMD: Earth Mover's Distanceで文間の類似度を算出


Comments