[DL]活性化関数はどうやって選ぶのだろう？ (3)

だらだらと、深層学習の活性化関数について調べるコーナー、3回目。

 

今日はこちら。
アーキテクチャ (多層パーセプトロン) - IBM Knowledge Center

パーセプトロンの説明だけど、まあよかろう。
ここでは「隠れ層」と「出力層」で活性化関数の説明項目が違っているのが興味深い。

隠れ層では、

• 双曲線正接
• シグモイド

出力層では、

• 同一
• Softmax
• 双曲線正接
• シグモイド

となっている。

今まで(といっても過去2回しかないが)見てきた活性化関数は、主に隠れ層の話だったんじゃないかと思っている。
出力層は最後のところで、私から見ると「結果」みたいなものだろう。
だいたいの出力結果はクラス分けして「このクラスに属する確率はこのくらい」みたいなものだと思っている。
だから、Softmax関数と思い込んでいたのだが、そう限定してしまうこともないということか。

 

で、そもそもこの章で説明している対象のSPSSってなんじゃろう、と調べたところ、IBMの予測分析ソリューションのようだ。
IBM - SPSS ソフトウェア – Japan
さっきのドキュメントも2011年更新で、バージョンも20.0.0とかだったから、かなり更新されているのだろう(いまはV23なのかな)。

機械学習というと、こういうビッグデータというか、大量の意味があるんだかどうだかわからないデータから何か結果を引っ張り出す、というのが得意そうな気がする。
得意というか、人間だと「あー、もうわけわからん！」と投げ出すところを、コンピュータだから取りあえず何か出力だけはするから、人間としてはちょっとうれしいのだろう。

でも、今のところの機械学習というか深層学習の分野は「分類」方面で伸びているような印象を受けている。
まあよくある入門が「画像を入力して推測してくれる」だからかもしれんが。
なので、この分類する出力の選択肢自体を誰がどうやって選ぶのかも重要じゃなかろうか。
『深層学習』で音声認識のところに、音の初めから終わりまでの状態変数をあらかじめ持っておくのか、それともそこも学習で決めてもらうのか、という2つの手法があったけど、あれに似たものを感じる。
出力選択肢を人間が決めるのであれば、その内容自体が将来を狭めているかもしれないし、学習によって決めるのであれば、その決めた内容がふさわしいかどうかを誰が判定するんだろう、という問題だ。
イヌの分類をするようにつくったネットワークに、ネコの画像を突っ込んで「このネコはチワワと認識された！」っていうようなことになってしまわんだろうか。

まあ、そういうのはみんな考えると思うから、調べていけば傾向が見えてくるかもしれんね。