[DL]層を増やしてみよう (1)

CNTKのサンプルを1つだけ動かして、そもそもなんだっけ、という振り返りを行っているところ。
活性化関数については、とりあえず「やってみて一番それっぽいのを選べばいいんじゃないの？」で終わらせた。

活性化関数を使うのは、ユニットというか層というか、出力するところだ。
活性化関数の値が出力なのだけど、それを受け取る層にとってはそれが入力になる。

どの本にも出ていそうな図だが、結局はこのつくりが基本になっている。
実際はこの層の中にユニットがたくさん入っていて、ユニット同士がつながっているから矢印は1本では無いのだけど、いっぱい引っ張っても図としてはいいことがないので、こう表現しているのだろう。

この隠れ層がいっぱいあるのが、多層ニューラルネットワーク。
まあ、これはわかる。
では、多層ニューラルネットワークと、ディープなものの間には何があるのだろうか？

 

前に見ていた、CNTKサンプルのSimple2dは、隠れ層が2層あった。
増やしていけば何か見えてくるだろうか？
ということで、次回やってみよう。