相田 太一‎ > ‎B3ゼミ‎ > ‎

第3回

鈴木「深層学習を用いた自然言語処理」

seq2seq:対になる関係(翻訳、対話←1文単位でやっていいの?)。研究は否定から始まる。
RNN:前の出力を次の入力にする。
LSTMはRNNの学習を途中で区切ったもの。
式(b:バイアス、w:重み、xt:単語、tanh:活性化関数?かも)
    Embedding:単語→分散表現のベクトル。
    Softmax:確率にする。学習データの中から確率の高いものを選ぶ。
                一番高いものだけを選ぶと決まりきった出力になるため、確率の高いもの  
                の中からまた選ぶ。
Encoder:文章→ベクトル。Embedding(単語について)の集まりみたいなもの。
Decoder:ベクトル→文章。
Attention:Encoderから一つずつ特徴を取り出してDecoderに渡す。
perplexityの評価方法:正規化する。1に近いほうが悪い。
CNNとRNNの使い分け?→RNNは時系列データに強い。CNNは分類器(画像等)。


守谷「識別モデル:HMM、CRFの概要」

マルコフ性:現在(未来)の状態が過去(現在)の状態に依存。
隠れマルコフモデル:状態(天気)がわからない(観測できない)。状態に関係する別の値(体調)から推測。
→言語処理では品詞付与が典型的。条件付き確率場(CRF)とSVM←必須。


吉澤「ベイジアンネットワーク」

ラベリングに使われる。
計算量が課題。
計算量:ベイジアン>マルコフ
精度:両方とも厳密解→マルコフの方がいい?
→使い分けがある。ベイジアン:因果関係、マルコフ:画像
植野先生のスライドが参考になる(厳密にやりたい人)。
親:A、子:B、Xが板挟みになっている。
山田先生の計算知能のスライドが参考になる。
未来は?→ベイジアンと組み合わせたものがあるかも。
世界的に研究されている。
ベイジアンネットワークのモデルを作るのが大変。
→自然言語処理への応用はまだ早い。
Naive Bayes 分類器は覚えておくと良い。
極小I-map辺をとっていき、これ以上取れないギリギリ。
d分離:tail to tail、head to head等
言語処理は厳密解をあまり扱わない?


相田「意味解析」

シソーラスといった知識は作る人によって変わるのでは?
単語間の関係獲得はあまり良くできていない。

Comments