相田 太一‎ > ‎文献紹介‎ > ‎

2019/05/28

論文:Similarity-Based Reconstruction Loss for Meaning Representation
担当:稲岡さん

3つのlossを提案。
  • weighted similarity: sim(x,y)pi
  • weighted cross entropy: sim(x, y) log(pi)
  • soft label: {上位N単語のみを考慮して正規化sim(x, y)} log(pi)
基本的にweighted cross-entropyがよかった→タスク依存。
単語ベクトルを用いているため、対義語も近くなることから、意味が反対の出力をする可能性がある。
soft label lossは正規化しないほうが結果は良くなった。:理由について論文には書いてない。正規化することで元の正規化の値が失われる?


Comments