ラベル cntk の投稿を表示しています。 すべての投稿を表示
ラベル cntk の投稿を表示しています。 すべての投稿を表示

2016年7月2日

[cntk]バージョン1.5がリリースされていました

少し心に余裕ができたので、久しぶりにCNTKのサイトを確認しました。

Release CNTK version 1.5 (Windows+Linux) · Microsoft/CNTK

バージョン1.5が出ていました。
25日前なので、6月の最初の方に出ていたようですな。

 

以前作っていた、Simple2dサンプルのCNTKファイルをそのまま動かそうとしましたが、トレーニングファイルのファイル名が変わっていました。
比較すると、CNTKファイルの中身がいくらか変わっています。

  • UCIFastReaderがCNTKTextFormatReaderになっている
  • startやlabelMappingFileの指定がなくなった
    • formatが追加され、"dense"になっている
  • トレーニングファイルの構成が変わっている
    • 以前:-0.127551 0.650403 0
    • 今回:|labels 1 0    |features -0.127551 0.650403
    • マッピングファイルと合わさったのかな

 

そこら辺を変更すると、動いた。
graphvizで「??」だったところも、何か出ている。
が、v1.1ので動かしても表示されたから、単にフォントがWindows7には入ってなくて、Windows10で入っているとか、そういう話だったのかも。

以前の出力例

 

今回の出力↓↓

image

 

でもねー、CNTKって使っている人が少ない気がするのだ。
単に私が見た記事がそうなだけかもしれないけど、TensorFlowが多い気がする。

実現できればなんでもよいとはいえ、よくわかっていないのでユーザが多い方がいいのよねぇ。
私も、マシンが新しくなって、VirtualBoxが動いていてもストレスがなく、Linuxでしか動かなくてもいいかな、と思ったりもしている。
と、弱気になりそうだが、もう少しだけやってみよう。

2016年4月28日

[cntk]New Release !!

ごめんね、適当なタイトルで。。。
おじさんも疲れているのよ。

Release CNTK version 1.1 (Windows+Linux) · Microsoft/CNTK

そんなわけで、v1.1がリリースされていました。
日本時間で、4月25日21時57分らしいので、それより前の人は更新するとよいのかも。

CUDAは7.5のままですが、ビルドする必要もないので、こだわりはいらないかもしれません。
探したけど、Visual Studio 2013 community版は探せなかったのだ。

 

だんだん、こうやって細かいことがどうでもよくなっていくのが、困ったものです。

2016年4月17日

[cntk]Windowsでビルドしようとしたが、中断

前回、リリースされているCNTKにはバグがあるようだ、ということがわかった。
それが原因か、単に私の書き方が悪いのかわからないけど、うまく動いていない。
CNTKの最新版にすることで別のバグが出てくる可能性も高いが、ビルドできるようにしておいてもいいんじゃなかろうか。


Microsoftの機械学習ツールキットCNTKをGPGPU付きでインストールする(Windows編) - FPGA開発日記

こちらを参考に、やってみる。
既にインストールされているものもあるので、それはそのままでいけるのか試そう。

1.CNTK本体は、githubからcloneする。

2.Visual Studioは、2015がインストールされているので、それを使おう。

3.CUDAは、7.0がインストールされているので、それを使う。。。
環境変数は設定していないから、あとでやろう。

4.Boost, ACML, MS-MPI, OpenCV

MS-MPIだけは、7.0.12437.6がSDKと何も無しがインストールされていた。

ACMLは、Intel Fortranの「acml5.3.1-ifort64.exe」にした。似てる名前が多くて紛らわしい。。。
MKLというのもあるらしいが、alternativeだからどちらかあればよいのだろう。

Boostは、unit test用ってあるから、なくてもいいんじゃないの?と思うが、きっとビルドエラーになるんだろうな。。
msvc-12.0がいると書いてあるのだが、Visual Studio2015は14.0のようだ。
あまり詳しくないのだが、NuGetでインストールできそうだから、それでもいいのかな?
https://www.nuget.org/packages/boost
ああ・・・何かプロジェクトを開いていないとインストールできないんだ。
よくわからんが、拡張機能でboostを検索したときに出てきた「Boost Unit Test Adapter」でもインストールしておこう。

OpenCVは、OPTIONALと書いてあるから、省略だ。
wikiにはzlibのことも書いてあるが、それもOPTIONALだ。

 

さて、ではビルドしてみよう、とwikiを見るとCUDA7.5になっていた。。。
いつの間に。。。

NVidiaからインストールしようとしているのだが、ハードウェアに互換性がないとか、Visual Studio Integrationがサポートしてないとか。。。
選択肢は3つある。

  1. Visual Studio 2013を使う
  2. CUDA7.5を無理やり入れて、手動で変更する
  3. やめる

2は、きつい。
それだったら、CUDA8.0にしたいなぁ、とも思ってしまう。

じゃあ1かというと、せっかく2013をアンインストールしたのに。。。と思ってしまったのだ。
インストールし直すだけとはいえ、心理的な壁が大きい。

 

というわけで、今回は3を選んだ。。。
ありがちなのが、今日2013をインストールして動かして、次にやろうとしたら2015対応になっていた、というパターンなので、それに賭けることにした。
(単なる敗北ともいう。)

2016年4月4日

[DL][cntk]NDLを書いてみよう (7) - 週末の復習と反省

今週は、CNTKのチュートリアルを動かしたり、MNISTサンプルを動かしたりした。
そして、見た目だけはSimple2dとほぼ同じ形のネットワークをNDLで作成し、ちゃんと動いていないことを確認しました。。。

 

はい、反省はもう「ちゃんと読んでからやろうよ」に尽きます。。。
CNTKファイルの書き方をサンプルだけ見てまねしているので、ニューラルネットどうこう以前にツールの使い方が正しくなっているのかどうかが不明なのだ。

CNTK/Configuration Files.md at master · Microsoft/CNTK

ここを、全部とは言わないまでも、まねしているパラメータくらいは意味がわかっていないと、失敗しているのはわかっても対応が当てずっぽうで意味がないのだ。

今日も見ずにやってたけれど、readerのところで次元が違うとエラーが出て、理由が結局わからないままなのだ。
だって、Simple.cntkと同じ書き方をしているのに!
でも、labelTypeにRegressionを指定すると、なぜかエラーが出なくなる。
理由がわからんが、説明を読めばわかるんじゃなかろうか。

 

あ、2016-02-08版のこれに関連するバグ?
required parameter missing: LR.cntk:Train:reader:labels:labelMappingFile · Issue #240 · Microsoft/CNTK

ここでエラーが出てるのに気付いたけど、あれはCNTKファイルの誤記じゃなくてバグだったのか。
ということは、それに関連してバグがあったとしてもおかしくない(1列目2列目がデータで、3列目がラベルなのだけど、なぜかラベルの次元がおかしいというエラーになる)。

そ、そんな馬鹿な・・・。
CNTKのビルドは環境を作るのがめんどくさそうだからやってないのだ。
ドキュメントを読む前に、そっちが先かなぁ。。。

2016年4月3日

[DL][cntk]NDLを書いてみよう (6)

チュートリアルだけじゃなくて、MNISTのサンプルも参考にしよう。
MNISTサンプルもNDLで書かれたネットワークを使っているのだ。

image

最初、GPUではなくCPUで計算させていたのだけど、あまりにも終わらずにやめてしまった。
GPUに戻すと、そこそこの時間で終わった。
こんなに違うのね・・・。
Windowsでtimeみたいなコマンドを使いたいけど、代用品がわからないので時間は測ってない。

 

図を見る限りでは、少し違うけれども、TimesとPlus、Sigmoidも入っている。
最後はErrorPredictionとCrossEntropyWithSoftmax。
01_OneHidden.ndlは短いが、これはマクロとしてMacros.ndlが使われているからだ。
しかしそうは言っても、DNNSigmoidLayer()とDNNLayer()だけで、マクロの中身も、Times()とPlus()、Sigmoid()があるだけだから、そんなに特殊には見えない。
だけど、これはちゃんと結果が出るのだ。

「Starting minibatch loop」というログのあとが、自分で作ったNDLだと処理が行われているような感じがしない。
何か足りないのだろう。。。

簡単に動くと考えたのが甘かったな。

[DL][cntk]NDLを書いてみよう (5)

そろそろ、ちゃんとやろう。
まずはシンプルに、隠れ層がないネットワークを作ってみる。
Simple.cntkで「layerSizes = 2:50*0:2」としたとぎのグラフは、こうだ。

image

ノードの、PlusとTimesはチュートリアルと同じ形だからよいとして、Timesの前にあるPerDimMeanVarNormalizationが最初の山場だ。
Times()やPlus()があるんだから、PerDimMeanVarNormalization()もあるだろう・・・あった。
が、引数は3つだ、というエラーが出てきた。

PerDimMeanVarNormalizationノードには、Mean、InvStdDev、featuresの矢印が突っ込まれている。
featuresはチュートリアルにもあるからよいとして、MeanとInvStdDevは計算がいる。
が、これもMean()とInvStdDev()があった。
PerDimMeanVarNormalization()の第1引数はfeaturesにしとかないとエラーが出た(メッセージが長かったので、あんまり読んでない)。

mn = Mean(features)
invstd = InvStdDev(features)
n = PerDimMeanVarNormalization(features, mn, invstd)
t = Times(W, n)
z = Plus(t, B)

image

なるほど。
グラフのノードは2行表記になっているけど、1行目の括弧の外は変数名なんだな。
Mean()の結果をmeanという変数名に入れようとすると怒られたので、大文字小文字は見てないのかもしれない。
Simple.cntkだと「W0*H-1」みたいな名前もあったが、あれは変数名にできなかった。
だから、あれはSimpleNetworkBuilderだから出せるのかもしれない。

 

さて、これでPlusノードまではできた。
あとは、

  • CrossEntropyWithSoftmax
  • ScaledLogLikelihood
  • EvalErrorPrediction

のノードを作るだけだ。

  • 最後のノードはSigmoid()じゃなくてPlus()なので、差し替える
  • SquareError()をErrorPrediction()に変更
  • Logistic()をCrossEntropyWithSoftmax()に変更

image

これで、Minusのところ以外は同じになったかな。
では、Minus()もまねしてみよう。

# operations
mn = Mean(features)
invstd = InvStdDev(features)
n = PerDimMeanVarNormalization(features, mn, invstd)
t = Times(W, n)
z = Plus(t, B)

LR = CrossEntropyWithSoftmax(labels, z)
EP = ErrorPrediction(labels, z)

mm = Mean(labels)
lg = Log(mn)
MI = Minus(lg, z)

image

・・・予想と違う。
作ったノードが、全部グラフから浮いてしまった。

チュートリアルでは、この後ろに「FeatureNodes()」や「LablesNodes()」がある。
ノードの意味を指示しないといけないということか。

ndlLR=[
  # sample and label dimensions
  SDim=$dimension$
  LDim=1

  features=Input(SDim, 1)
  labels=Input(LDim, 1)

  # parameters to learn
  B = Parameter(LDim)
  W = Parameter(LDim, SDim)

  # operations
  mf = Mean(features)
  invstd = InvStdDev(features)
  n = PerDimMeanVarNormalization(features, mf, invstd)
  t = Times(W, n)
  z = Plus(t, B)

  LR = CrossEntropyWithSoftmax(labels, z)
  EP = ErrorPrediction(labels, z)

  ml = Mean(labels)
  lg = Log(ml)
  MI = Minus(lg, z)

  # root nodes
  FeatureNodes=(features)
  LabelNodes=(labels)
  CriteriaNodes=(LR)
  EvalNodes=(EP)
  OutputNodes=(z, MI)
]

image

 

ただ、形ができただけで、ログを見ると計算ができていない。
ネストしているような警告が出ているので、そこらへんだろうか・・・いや、元から出ているな。

「Starting minibatch loop」のところから出方がずいぶん違うので、そこから見ていくか。

2016年4月2日

[DL][cntk]NDLを書いてみよう (4)

前回、チュートリアルのロジスティック回帰を見ていたが、そのネットワークをSimple2dで試すのを忘れていた。
前はエラーのところしか見ていなかったけど、係数が予想通りx軸に平行となるのかは見ておきたいところだ。

y = -0.0482035205 - 0.600052118 * x1 - 10.5671721 * x2

予想と違いましたな。。。
いや、ちょっと待った。
変数が2つあるけど、これはなんだっけ?
チュートリアルによると、

  • y = mx + b
    • y = x2
    • x = x1
    • m = (-W_1 / W_2)
    • b = –B / W_2

だそうだ。

だからこの式は、

y = (0.600052118 / (-10.5671721)) * x + (0.0482035205 / (-10.5671721))

となる。

graph.tkでグラフにしてみると、この赤線になった。

image

青線はテストデータの元になったグラフだ。
x軸にかなり平行な直線と言ってよかろう。


さて、NDLに戻ろう。

その前に、LDimのことを解決しておく。
以前、LDim=2にしないと動かない、と書いたのだが、このチュートリアルはLDimが1のままで、ちゃんと動いているのだ。

見比べながら変更したところ、labelsに「labelType=regression」を書くとLDim=1でも動くことがわかった。
labelsは、くくりで言うとReader blockになる。
labelTypeは、こちら。
Categoryか、Regressionか、None。
チュートリアルはロジスティック回帰だから、Regressionだったのだろう。
Categoryは、labelsみたいにcategoryというブロックを自分で作って、そこに記載するような感じがする。
labelsのデータはfloating pointで、Categoryの場合は整数部分がラベルマッピングテーブルのインデックス値に変換される、とある。

labelTypeの説明が、

labelType – [{Category},Regression,None] the type of label

となっていたから、Categoryがデフォルト値で、マッピングファイルにラベルが2つ書かれているから、LDimが2じゃないとうまく行かなかった、ということか?

じゃあ、Regressionを指定した場合はマッピングファイルの指定をしなくてもうまく動作してほしいのだけど、EXCEPTIONが発生していた。
これについては、何か説明を付けることができるのだろうか?

 

こういうねー、ネットワークとかの前に気になることが出てくると、なかなか着手できないのだ。
勉強しようとしたら机の周りが散らかっているのが気になり出すのと同じかもしれない。

[DL][cntk]NDLを書いてみよう (3)

まだ続いている、自分でニューラルネットのネットワークを書く話。
チュートリアルを見始めたけど、ロジスティック回帰なるものが出てきて、わからないなりにやったところまでが前回だ。

パラメータが1つの問題が線形回帰とか単純回帰とか呼んで、パラメータが増えると多重線形回帰になる。
多重線形回帰の成果というか結果というかが2値の場合を、ロジスティック回帰と呼ぶ、という認識でいる。
結果がAかAじゃないか、で、Aなら1.0、Aじゃないなら0.0、あとはよりどっちに近いかという値になる。


チュートリアルは2変数なので、回帰モデルはこうなる。

y = W_0 + W_1 x_1 + W_2 x_2

2元1次方程式、というやつですな。

散布図を見ると、左下が0のグループ、右上が1のグループのようだ。
図形的な解法だと、各グループの重心を求め、重心間に直線を引き、それと直交する直線で重心間の距離が等しくなるような直線を求めることになるだろう。

そういった求め方をせず、点のデータからその直線になるようなWを求めるのがこのチュートリアルになるはず。
この節の一番下に破線が追加された散布図があるが、この破線がそれですな。

 

うーん。
このチュートリアルでは、散布図を見ると確かに直線で分離できそうだから2元1次方程式でよいだろう。
でも、Simple2dの場合はサイン波からデータを作っているので、直線で分離するのは無理だろう。
やったとしても、x軸に平行な原点を通る直線になって、波の付近は全然ダメなはずだ。

そういう意味では、Simple2dはロジスティック回帰に適さない課題と言うことになるのか。
でも、そんなのは結果論であって、モデルがどういう風になるかわからないからディープラーニングだの何だのを使って勝手にやってもらおうとしているんじゃないか。

 

そうなると、簡単な話で「CNTKでロジスティック回帰の計算はできるけれども、ロジスティック回帰はディープラーニングとは関係がない」ということか。
ネットワーク図だって、全然層になってないし。。。
今ひとつ自信はないが、そういうことにしておこう。

 

チュートリアルのソースが、ラベルのモデルマッピングがないとかエラーが出たので、Simple2dのを付け足したものを置いておく。
一番上にあるテキストファイルは結果で、これはチュートリアルサイトの結果とも一致しているから、間違ってないのだろう。

https://drive.google.com/folderview?id=0B2_3hJpJ5Ui2Ymt0ZEM5NEtuZFE&usp=drive_web&tid=0B2_3hJpJ5Ui2QWZ5Mm5NV29USEE

さあ、次こそは自分でネットワークを書いてみたいぞ。


よそのサイトを見ていたら、面白そうなことをしていた。

Enjoy RFID: RFIDでディープラーニング その1

中身はわからないけど、私もこういう、自分で集めたデータで何かしてみたいのですよ。

2016年3月26日

[DL][cntk]NDLを書いてみよう (2)

Open Live Writerでソースコードを載せられるプラグインがあったので、使ってみよう。
あ、これってWordPress用だ。。。
Tableと組み合わせれば、まあまあいいかな。

 

・・・OpenLiveWriterではほどほどに見えていたのですが、アップしたら化け化けだったので消しました。


さて、このNDLとネットワーク図を見比べよう。

最初のInputであるfeaturesは、SDimになっている。
サンプルの行列はSDim行1列とあるから、こういうやつか。

image

ラベルは、label0かlabel1と書いてある。
じゃあ2次元やん、と思うけど、binary classficationで、p(y=0) = 1 – p(y=1)とも書いてある。
YESかYESではないか、ということで1次元というサンプルの意味になっているのかな?

ちなみに、このチュートリアルのトレーニングデータと、Simple2dのトレーニングデータは同じ並びで、3列のデータのうち、最初の2列がサンプルで、最後の1列がラベルになっている。
そして、ラベルはどちらも0か1だ。

だから、Simple2dも1次元でやることができるのだろうと思う。
データの認識の仕方が違うだけと言うことか。


これでデータの準備ができたようだ。

チュートリアルでは、ロジスティック回帰の評価式をこう定義している。

y = W_0 + W_1 x_1 + W_2 x_2 + ...

なんですっけ、マクローリン展開じゃないけど、ああいう感じがしますな。
ともかく、W_0がバイアスで「B」、W_1以降が重みで「W」と表現する、と。
それが、この部分。

B = Parameter(LDim, 1)
W = Parameter(LDim, SDim)

ナゼコウナッタ…

この辺りが、Logistic Regression(LR)として説明されているのだろうか。
英語だけわからないのであれば読んでみようと思うが、きっと確率論がわかっていないと理解できないんだ!と思い込んでしまったので、読む気にならない。。

ただ、そこに描かれているlogistic functionは、『深層学習』p.10の式と同じだ。
そういった共通の知識の下(たぶん確率論)で通じる話題なのだろう。

だから、今回は深読みせず、スルーだ。
これで決まったパラメータが、ようやくネットワークに出てくる。

t = Times(W, features)
z = Plus(t, B)

image

このTimesはパラメータW_1~の積和で、PlusはバイアスW_0を足すところですね。
この積和が、専用演算を持ってると1命令で計算できたりするので高速化できたのだったと思う。
積和というと、行列で物体を回転させたりとか平行移動するようなアフィン変換でも使われるので、ゲームとかの画像処理ではよく使うため、GPUでその辺りが強化されている・・・という流れで、深層学習でもGPUを使うものが多いんじゃなかろうか。


ネットワークの最後が、こう。

s = Sigmoid(z)

LR = Logistic(labels, s)
EP = SquareError(labels, s)

image

バイアスまで足した結果のzをシグモイド関数に突っ込んで、それがEPとLRのInputになっている。
EPとLRのInputはもう1つあって、それがlabelだ。
labelがInputになるということは、答え合わせだろう。

まずは、EP。
これは何の略だろう?
SquareErrorで検索すると、二乗誤差、とあった。
二乗誤差で検索すると、平均する結果が多く出てきた。
RMS、と略するらしい。

うーん・・・
labelは、(x1, x2)が1か0かという「正解」で、sはシグモイド関数の結果だから0.0~1.0の値だ。
ということは、シグモイド関数に通した結果が、0.0に近いのか1.0に近いのかという、分類分けの確率を想像した結果という意味になる。

えー、だって、掛けて足しただけやん!
それをシグモイド関数に通しただけで学習結果が得られるの??

もし結果が全部正解なら、誤差は0だから、二乗誤差も0になる。
そうでなくても、確率が高い方に寄っているなら、二乗誤差も小さいことになる。

 

じゃあ、LRはなんだ?
これはLogistic Regressionの略だろうけど、ロジスティック関数に通すのだろうか。
しかしそれならば、Inputは1つでいいはずだ。
うーーーん・・・

 

最終結果は、これのようだ。

Final Results: Minibatch[1-1]:
  Samples Seen = 603
  EP: SquareError/Sample = 0.032142105
  LR: Logistic/Sample = 0.22066998

EPは、まあわかる。1サンプル辺りの二乗誤差だ。RMSだ。
LRも「/Sample」だから1サンプル辺りなのだろうけど、よくわかりませんな。

次回だ、次回。

[DL][cntk]NDLを書いてみよう (1)

Deep Learningというよりも、MicrosoftのCNTKの話になっているので、ラベルを追加した。

さて、前回まではSimpleNetworkBuilderという標準のネットワークを使っていたのだけど、どういじってもあまり代わりばえしないので、何というか達成感が少ない。
じゃあ、次はネットワークを自分で組んでみるか、というところだった。

 

Tutorial · Microsoft/CNTK Wiki
これが、一番最初のチュートリアルだ。
長い・・・・。
これまでやってきてようやく、自分が理屈をわかっていない、ということがわかってきた。
理屈というか、統計に関する基礎がないので、たぶん意味がある説明であっても読み流したりしているのだと思う。

たとえば、このチュートリアルの最初に「Logistic Regression」というのがある。
Logisticといえば、私にとってはロジスティック関数しかなく、ロジスティック関数と言えば活性化関数の1つ、という認識だ。
しかし、ここはRegression。
リグレッションというと、よくテストで出てくる「修正したことによって前OKだったところがNGになってないかもう一度やってみよう」の退行テストくらいでしか聞いたことがない。

“logistic regression”で検索すると、どうも「ロジスティック回帰」ということらしいのだが、それが何だかわからない。
統計の話で、モデルとか何とか。。。

以前、活性化関数の選び方を調べていたけど、順番としてはそうではなく、解析方法だかなんだかが「ロジスティック回帰」だからとか、そういう理由で決まっていくのだろうか?

ともかく、深層学習の本にはそういったことは書かれていなかったので、もっと知識があればわかってくるのかもしれない。
とりあえず「理解できて当然なのにわかってない」という訳ではなさそうで安心した。


そういうのもいずれは調べるとして、まずNDLのサンプルをSimple2dで試してみよう。
やるのは、Simple.cntkのSimpleNetworkBuilderのところを、これに置き換えるだけだ。

うん、実行するとエラーになった。
ラベルの次元がreaderとあってない、ということらしい。
readerのlabelsの中を見ると、dimは1なのだが、labelDimは2になっている。
ネットの方はLDim=1になっているから、LDimとlabelDimが同じ次元じゃないといけないのかな。
LDim=2にすると、最後まで行った。

ラベルって、SoftMax関数とかで最後に分類する数のことだよな?
MNISTだったら数字が10個あるので、10次元になるのか。
じゃあ、このサンプルが1次元というのはどういう意味なのだろう・・・。
せめて2つには分類しそうなものだが。

 

できたのは、こういうネットワークとのこと。

image

最後はSoftMaxじゃなくてLogisticで終わるんだが、どういうことなんだろう?
しかも、その前にSigmoidがあるから、このLogisticは活性化関数のことではない??
章のタイトルも「Logistic Regression」だから、分類分けするのではなくて、ロジスティック回帰というものをやるサンプルと言うことなのかな。

 

なんかもう、ちょっとやっただけでこんなにぼろが出るとは・・・。
まあいい、まだわかってないだけだ(強がり)。