[DL]活性化関数はどうやって選ぶのだろう？ (5) - 最終回

今まで活性化関数のことを見てきたが、どう選択したらよいのかについては、探し出せていない。

ただ、検索していくと「活性関数は非線形なもの」という話がしばしば出てくる。
そういうものなのかと思ったが、『深層学習』では「近年」ということで、ReLUの関数を紹介しているのだよなあ。

あ、ReLUは0以上は線形になってるから「線形」と思っているけど、0以下は0だから、もしかして「非線形」という扱いになるのか？
たしかに、全体で見れば折れ線になっているから非線形だな。。。
そう解釈すれば、矛盾はない。

 

数学的な意味はさておき、ニューラルネットというのは生物の神経伝播を模倣するというのが元だったはず。
ニューロン間は電気的と言うよりも、ドーパミンとかの化学物質(神経伝達物質、と呼ぶそうだ)でつながっていて、その物質の多い少ないで興奮度を伝えている(とかだったような)。
花粉症の季節になると、レセプタがどうのこうのという話がよく出てくるが、あの辺だろう。神経伝達物質を受け入れるのがレセプタで、誤認して受け取ることで興奮度が上がって、クシャミみたいな形で現れるとかなんとか。

ニューラルネットはそのあたりの挙動をそれっぽくまねしたものだから、活性化関数も「これが正しい」というのは無いのかもしれんね。
かろうじて意味づけするなら、「痛みを伝える神経伝達物質の出方はこういう傾向があるから、活性化関数もこういう式だとそれに近いかも」くらいだろうか。

今回はそのくらいの解釈で済ませておいて、もうちょっと動かしてみて気になったら調べますかね。