[ai]『深層学習』を読む (6)

5章の「自己符号化器」を、力業で読み終えた。
力業＝あまり原理を理解しない、ではあるのだが。。。

自己符号化器と事前学習、というのが関係あると思って読んでいたが、自己符号化器がどうのこうのより、事前学習の方が深層学習が実現できるようになったことに貢献が大きかった、という読み方をした方がよさそうだ。

1. 人間の脳を簡易化して機械学習させてみよう
• ニューラルネットワーク
2. 階層を増やすと賢くなるみたい
• 多層
3. なんか階層が深くなると学習がうまくいかないなぁ
• 勾配消失問題
4. いきなり学習させるんじゃなくて、ほどほどの初期値で始めるとうまくいきやすい
• 事前学習

みたいな感じだと思う。

多層のニューラルネットワークをひとまずバラバラの層の組にして、その組ごとに自己符号化器で学習し、その学習したパラメータでニューラルネットワークを再構成する。

ただ、自己符号化器というのも事前学習の方法の1つに過ぎないとのこと。
なので、事前学習のやり方はいろいろあるけれども、何も無い状態から学習させるよりは事前学習が有効だということがわかった、というのが成果だと思われる。

 

というところをなんとなくわかってから1章を読むと、そういうことが書かれていることがわかる。
背景がわかっていないと、同じ文章でも意味が理解できないものだねぇ。
ただ、音声などは事前学習するのが一般だけど、画像はそうでもない、などと書かれてあり、まだ知らないことがあるのがわかる。
それが次の章なのだろうが、今日はここまで。