相田 太一‎ > ‎B3ゼミ‎ > ‎

第10回

守谷:言語処理におけるCNN

単語共起行列:単語の共起を表したもの。前後1単語。0が多い(スパースがある)。→なんとかしたい。
特異値分解(SVD):次元圧縮。文書全体のトピックを理解できる。
Word2Vecの目的:単語のベクトルが欲しい。分布仮説(周辺単語には何らかの関係がある)意味と構造が理解できる。文書全体のトピックを理解できない。
Glove:Word2VecとSVDの利点をとったもの。最小二乗法を用いている。ハイパーパラメータが増える。αは1より3/4にした方がよかった。
CNN:プーリングや畳み込みで単語の位置情報は失われる。並列で処理できるから良い。
QRNN:CNNでRNNをやった。重みを使わずに伝搬→隠れ層の中の要素が他の要素から影響を受けない。感情分析などでLSTMと同等かそれ以上のスコア。
    ヒートマップに使われる。ニューラルネットの学習過程を可視化できる。


鈴木:文献紹介 Quasi-Recurrent Neural Networks に基づく対話モデルを用いた対話破綻検出

対話破綻:NCMはRNNを用いるため時間がかかる。
  • メリット:事前回避、リカバリ可能
  • 課題:対話中に検出を行う必要がある
QRNNを用いると文脈を考慮できる→本当?周辺単語だけじゃない?階層的RNN、Attentionモデルでよくない?RNNの時より学習速度が3.2倍。
  • 文脈情報を別の方法で見れる?
  • 良い感じのところをQRNNで置き換えられる?
    • QRNNを用いる理由を明確に。
    • 未来の情報を見て双方向にしても良い気がする。→話すときも相手の反応をある程度予測するため。
ニューラルネット、誤差伝搬→LSTM→QRNNの順で勉強すると良さそう。


相田:ロジスティック回帰

結局SVMでよくない?:ロジスティック回帰からの発展系

機械学習入門4章+ゼロから作るDeep Learning2章
Comments