[DL]活性化関数はどうやって選ぶのだろう？ (4)

だらだらと、深層学習の活性化関数について調べるコーナー、4回目。

今日はこちら。
CiNii 論文 -  パターン分類を行なう階層形ニューラルネットワークにおける活性化関数の自動選択

残念ながら、本文は有料らしいので、読んでいない。
ただ、活性化関数の説明として「これらの空間分割特性は互いに独立」という表現が目新しい。
しかし・・・言葉の意味がわからない・・・。

単に線形とか非線形とか、そういうことを言っているのだろうか？
それだったら「互いに独立」という表現は使わないよなぁ。
独立しているというと、空間だったら「直交」のイメージがある。
あるいは「互いに素である」とか。
でも、今まで見てきた活性化関数は単にxに対するf(x)の形が違うだけで、空間が違う、という程ではないような気がする。
あー、でも「特性が互いに独立」だから、f(x)そのものが独立しているというわけじゃないから、もっと違う見方なのかな？

 

ただ、それにしたってこの論文も「活性化関数の自動選択」というくらいだから、事前に決定するようなものではない、ということなのだろうか。
それだったら、時間がかかっても数種類の活性化関数を全部試して、結果がよかったものにすればいいんじゃなかろうか。

でも、そういうことをいいたい論文ではないのだろう。
学習に時間がかかりすぎないようにすることも、たぶん大切だと思うので、そういったことが目的なのかもしれない。

こういった論文があると言うことは、もしかして活性化関数を理論的に選択する方法が今のところ見つかっていない、ということなのだろうか？