[DL]活性化関数はどうやって選ぶのだろう？ (1)

CNTKでもそうだが、活性化関数はいくつかから選択することが多い。
じゃあ、どの活性化関数がよいのか？
なにを基準に選べばよいのだろう。

という疑問があるので、調べてみよう。
すぐにわかるわけでもないので、検索してあちこち見ていこう。

---

今日はこちら。

ニューラルネットワークが任意の関数を表現できることの視覚的証明
直接の解説ではないのだが、内容が面白かったのでリンクを載せる。
学習データから、ほどほどにそれらしい結果を出せるニューラルネットワークを構築できると言うことは、何だかわからない結果から近似式を導き出せるのと同じだ、という話。
何か、FFTとかと似てますな。
「画像をゴッホ風にする」みたいなのもあったけど、突き詰めればそういう意味なんだ、と感心したのでした。

シグモイド関数についても書かれていますが、普遍性とか、そういう話のようです。
うぅ、難しい。。
さらっとそこだけ読んだら、シグモイド関数を合計してもどういう値になるか想像しにくいけど、ステップ関数だったらわかりやすいよね、と言ってるように思った。
思うというか、そう書いてあるところだけ読んだだけ。。。
ステップ関数というのは、たぶんある値以上は入力と同じ値になってる関数のことじゃなかろうか。
掛ける値がある値までは0、ある値から1だからステップ関数なのだと思う。

下の方は・・・やはり理解が追いつかなかった。
いいのだ、それで。
また理解できるようになったら、戻ってくればいい。