相田 太一‎ > ‎文献紹介‎ > ‎

2019/07/09

論文:Why are Sequence-to-Sequence Models So Dull?
担当:鈴木
  • ITFのlossが出る前の論文
  • seq2seqに多様性を持たせるために色々されてきた
  • MMI(最大相互情報量)という目的関数を用いると良くなる?
  • model overconfidenceが低多様性の原因?
  • confidence penaltyも使えそう
  • label smoothing?:過学習を抑える手法の1つらしい
Comments