2016年3月31日

[win10]「ストア」を戻す

勢いで、いろいろアンインストールする傾向にある私。
Windows10のストアアプリの中の「ストア」も、いつの間にかアンインストールしていた。。。

Windows10でUbuntuのコマンドがそのまま使える(全部じゃないんだろうけど)しくみがストア経由で配布される予定らしいので、元に戻すことにした。

 

これが、なかなかいい情報がない。
OSからやり直しというのは避けたい中、こちらが見つかった。
Windows 10 で普通にはアンインストールできないビルドインアプリを削除する | Lonely Mobiler

一番下にアンインストールしたストアアプリを全部戻すやり方が書いてある。
これを「ストア」だけに絞る。

まず、PowerShell(管理者)で「ストア」がどういう名前かを検索。

Get-AppxPackage –AllUsers | Select-String “store”

Select-Stringがgrepみたいなコマンドらしい。
うちでは、この2つが出てきた。

Microsoft.ConnectivityStore_1.1511.2.0_x86__8wekyb3d8bbwe
Microsoft.WindowsStore_2016.27.2.0_x86__8wekyb3d8bbwe

あとは、Add-AppxPackageをすればよいのだろう。
引数がわからないので、ブログにあったやり方のAdd-AppxPackageをechoに変更してみる。

Get-AppxPackage -AllUsers | Foreach {echo "$($_.InstallLocation)\AppxManifest.xml"}

ずらずら出てくるが、

C:\Program Files\WindowsApps\Microsoft.Office.Sway_17.6769.45081.0_x86__8wekyb3d8bbwe\AppxManifest.xml

みたいな感じらしい。
赤い部分が、さっきのSelect-Stringで抽出した文字列になればよいのだろう。
「ストア」はたぶん2つ出てきたうちの下だろうから、こうした。

Add-AppxPackage -DisableDevelopmentMode -Register "C:\Program Files\WindowsApps\Microsoft.WindowsStore_2016.27.2.0_x86__8wekyb3d8bbwe\AppxManifest.xml"

復活!

2016年3月27日

[統計]ロジスティック回帰?

気になったので、ロジスティック回帰について書いてある本を買ってきた。

O'Reilly Japan - 統計クイックリファレンス 第2版

統計学の本って、いろいろあるのね。。。
本屋でかなり悩んだ。
私は博多駅横にある交通センター6階にある紀伊國屋でだいたい買うのだが、その本棚の2列分が統計学だった。
その1列は、SPSSとかRとかSASとか、何かそういう言語かツールを使って実現するための本っぽかった。

この本は、分厚い。
CR2032の大きさと比較してみると、このくらいだ(関係ないけど、2032とか2016の後ろの2桁は厚みなのね)。

image

最初から読まなくていい、と書いてあるが、読んでいってもなかなか面白い。
以前悩んでいた、条件付き確率のことなども書いてある。

あまり重苦しい文体ではなく、文章を読んでいても面白い。


ロジスティック回帰のところまではまだ読み進んでないが、線形回帰のところを読んでいる。
例では、身長と体重の関係が題材になっている。
身長が高い人は、だいたい体重も重たくなるよね、という仮定を元に、その傾向を1次式で表す。

体重=身長×係数+定数

もちろん、これが必ずしもそうはならないのはわかるけど、まあ、だいたい、そうじゃないの?くらいで進めるようだ。
で、この推測に基づいていくつかのデータを取って、データを満たしそうな式を作る。
最小二乗法とかそういうやつですな。
この式を「回帰方程式」と呼ぶ。

じゃあ「回帰」はなにかというと、たぶんだが、こういうやり方自体を指している。
これは線形式に当てはめるので「線形回帰」とか「単純回帰」とか呼ぶようだ。

入力の変数が2つ以上だと「多重線形回帰」などになるらしい。
変数が1つじゃなかったら線形にならないんじゃないの?という気もするのだが、よく読めばわかるのかもしれない。

そして、出力結果(従属変数などと呼ぶ)が2値の場合の多重線形回帰を効果的に扱う回帰技法が「ロジスティック回帰」のようだ。
CNTKのチュートリアルやSimple2dも、ラベルは0か1の2値だ。

そこがわかれば、ひとまずはよいかな。
統計のことは勉強しても面白そうなので、もうちょっと読んでいこう。

2016年3月26日

[DL][cntk]NDLを書いてみよう (2)

Open Live Writerでソースコードを載せられるプラグインがあったので、使ってみよう。
あ、これってWordPress用だ。。。
Tableと組み合わせれば、まあまあいいかな。

 

・・・OpenLiveWriterではほどほどに見えていたのですが、アップしたら化け化けだったので消しました。


さて、このNDLとネットワーク図を見比べよう。

最初のInputであるfeaturesは、SDimになっている。
サンプルの行列はSDim行1列とあるから、こういうやつか。

image

ラベルは、label0かlabel1と書いてある。
じゃあ2次元やん、と思うけど、binary classficationで、p(y=0) = 1 – p(y=1)とも書いてある。
YESかYESではないか、ということで1次元というサンプルの意味になっているのかな?

ちなみに、このチュートリアルのトレーニングデータと、Simple2dのトレーニングデータは同じ並びで、3列のデータのうち、最初の2列がサンプルで、最後の1列がラベルになっている。
そして、ラベルはどちらも0か1だ。

だから、Simple2dも1次元でやることができるのだろうと思う。
データの認識の仕方が違うだけと言うことか。


これでデータの準備ができたようだ。

チュートリアルでは、ロジスティック回帰の評価式をこう定義している。

y = W_0 + W_1 x_1 + W_2 x_2 + ...

なんですっけ、マクローリン展開じゃないけど、ああいう感じがしますな。
ともかく、W_0がバイアスで「B」、W_1以降が重みで「W」と表現する、と。
それが、この部分。

B = Parameter(LDim, 1)
W = Parameter(LDim, SDim)

ナゼコウナッタ…

この辺りが、Logistic Regression(LR)として説明されているのだろうか。
英語だけわからないのであれば読んでみようと思うが、きっと確率論がわかっていないと理解できないんだ!と思い込んでしまったので、読む気にならない。。

ただ、そこに描かれているlogistic functionは、『深層学習』p.10の式と同じだ。
そういった共通の知識の下(たぶん確率論)で通じる話題なのだろう。

だから、今回は深読みせず、スルーだ。
これで決まったパラメータが、ようやくネットワークに出てくる。

t = Times(W, features)
z = Plus(t, B)

image

このTimesはパラメータW_1~の積和で、PlusはバイアスW_0を足すところですね。
この積和が、専用演算を持ってると1命令で計算できたりするので高速化できたのだったと思う。
積和というと、行列で物体を回転させたりとか平行移動するようなアフィン変換でも使われるので、ゲームとかの画像処理ではよく使うため、GPUでその辺りが強化されている・・・という流れで、深層学習でもGPUを使うものが多いんじゃなかろうか。


ネットワークの最後が、こう。

s = Sigmoid(z)

LR = Logistic(labels, s)
EP = SquareError(labels, s)

image

バイアスまで足した結果のzをシグモイド関数に突っ込んで、それがEPとLRのInputになっている。
EPとLRのInputはもう1つあって、それがlabelだ。
labelがInputになるということは、答え合わせだろう。

まずは、EP。
これは何の略だろう?
SquareErrorで検索すると、二乗誤差、とあった。
二乗誤差で検索すると、平均する結果が多く出てきた。
RMS、と略するらしい。

うーん・・・
labelは、(x1, x2)が1か0かという「正解」で、sはシグモイド関数の結果だから0.0~1.0の値だ。
ということは、シグモイド関数に通した結果が、0.0に近いのか1.0に近いのかという、分類分けの確率を想像した結果という意味になる。

えー、だって、掛けて足しただけやん!
それをシグモイド関数に通しただけで学習結果が得られるの??

もし結果が全部正解なら、誤差は0だから、二乗誤差も0になる。
そうでなくても、確率が高い方に寄っているなら、二乗誤差も小さいことになる。

 

じゃあ、LRはなんだ?
これはLogistic Regressionの略だろうけど、ロジスティック関数に通すのだろうか。
しかしそれならば、Inputは1つでいいはずだ。
うーーーん・・・

 

最終結果は、これのようだ。

Final Results: Minibatch[1-1]:
  Samples Seen = 603
  EP: SquareError/Sample = 0.032142105
  LR: Logistic/Sample = 0.22066998

EPは、まあわかる。1サンプル辺りの二乗誤差だ。RMSだ。
LRも「/Sample」だから1サンプル辺りなのだろうけど、よくわかりませんな。

次回だ、次回。

[DL][cntk]NDLを書いてみよう (1)

Deep Learningというよりも、MicrosoftのCNTKの話になっているので、ラベルを追加した。

さて、前回まではSimpleNetworkBuilderという標準のネットワークを使っていたのだけど、どういじってもあまり代わりばえしないので、何というか達成感が少ない。
じゃあ、次はネットワークを自分で組んでみるか、というところだった。

 

Tutorial · Microsoft/CNTK Wiki
これが、一番最初のチュートリアルだ。
長い・・・・。
これまでやってきてようやく、自分が理屈をわかっていない、ということがわかってきた。
理屈というか、統計に関する基礎がないので、たぶん意味がある説明であっても読み流したりしているのだと思う。

たとえば、このチュートリアルの最初に「Logistic Regression」というのがある。
Logisticといえば、私にとってはロジスティック関数しかなく、ロジスティック関数と言えば活性化関数の1つ、という認識だ。
しかし、ここはRegression。
リグレッションというと、よくテストで出てくる「修正したことによって前OKだったところがNGになってないかもう一度やってみよう」の退行テストくらいでしか聞いたことがない。

“logistic regression”で検索すると、どうも「ロジスティック回帰」ということらしいのだが、それが何だかわからない。
統計の話で、モデルとか何とか。。。

以前、活性化関数の選び方を調べていたけど、順番としてはそうではなく、解析方法だかなんだかが「ロジスティック回帰」だからとか、そういう理由で決まっていくのだろうか?

ともかく、深層学習の本にはそういったことは書かれていなかったので、もっと知識があればわかってくるのかもしれない。
とりあえず「理解できて当然なのにわかってない」という訳ではなさそうで安心した。


そういうのもいずれは調べるとして、まずNDLのサンプルをSimple2dで試してみよう。
やるのは、Simple.cntkのSimpleNetworkBuilderのところを、これに置き換えるだけだ。

うん、実行するとエラーになった。
ラベルの次元がreaderとあってない、ということらしい。
readerのlabelsの中を見ると、dimは1なのだが、labelDimは2になっている。
ネットの方はLDim=1になっているから、LDimとlabelDimが同じ次元じゃないといけないのかな。
LDim=2にすると、最後まで行った。

ラベルって、SoftMax関数とかで最後に分類する数のことだよな?
MNISTだったら数字が10個あるので、10次元になるのか。
じゃあ、このサンプルが1次元というのはどういう意味なのだろう・・・。
せめて2つには分類しそうなものだが。

 

できたのは、こういうネットワークとのこと。

image

最後はSoftMaxじゃなくてLogisticで終わるんだが、どういうことなんだろう?
しかも、その前にSigmoidがあるから、このLogisticは活性化関数のことではない??
章のタイトルも「Logistic Regression」だから、分類分けするのではなくて、ロジスティック回帰というものをやるサンプルと言うことなのかな。

 

なんかもう、ちょっとやっただけでこんなにぼろが出るとは・・・。
まあいい、まだわかってないだけだ(強がり)。

2016年3月23日

[nrf]SDK v11ではクロックの指定方法が変わった

nRF5 SDK v11.0で、今までのソースをビルドした。
うん、特に困らずビルドできた。

ただ、examples/bspを自分の環境向けに追加していたのだが、v10で動いていた設定をv11にコピーすると、コンパイルエラーが発生した。
見ると、クロックの指定が変わっていた。

今までは、

NRF_CLOCK_LFCLKSRC_XTAL_20_PPM

みたいなマクロを指定していたのだけど、これが構造体になったのだ。

#define NRF_CLOCK_LFCLKSRC  {.source = NRF_CLOCK_LF_SRC_XTAL,            \
                             .rc_ctiv = 0,                               \
                             .rc_temp_ctiv = 0,                          \
                             .xtal_accuracy = NRF_CLOCK_LF_XTAL_ACCURACY_20_PPM}

 

構造体は、nrf_clock_lf_cfg_tという型名。
メンバのctivは、Calibration Timer InterValの略らしく、内蔵クロックの場合に使うそうだ。
以前の「4000MS_CALIBRATION」のような部分なのですかね。
単位は、1/4second、ということで、250msec。

temp_ctivは時間じゃなくて、温度を見に行く頻度を示すようだ。
以前の「TEMP_4000MS_CALIBRATION」などですかね。

 

BLEで使う水晶発振子って、どのくらいの精度を求められるんでしょうね?
以前のマクロ名からすると、内蔵の場合は250ppmくらいだから、そんなに高くなくていいのかな。
CentralとPeripheralがどうやって送受信タイミングを計っているのかよくわかってないのだ。
Centralはいざとなれば受信しっぱなしでもいいのかもしれないけど、Peripheralは寝るタイミングがあるはずだから、ある程度の同期はいると思うのですよ。

2016年3月19日

[nrf]nRF5 SDKからS110が消えた!

消えたのだ。

Nordic Semiconductor Infocenter

この4つしかリストに無い。
とうとう、そういう時代になってしまいましたか・・・。

 

nRF51822だと、S130が代わりになるだろう(nRF51422もか)。
nRF52832は、S132だ。
S212とS332はnRF52832向けで、S212がANTのみ、S332がBLE+ANTのようだ。

じゃあ、nRF51822のS110, S120, S210, S310はnRF51 SDK v10.0.0までということか。
ANTを使うならv10.0.0までということかな?

私はANTを使ったことが無いので、S130に移行する準備を始めた方がよいだろう。
以前S130のv2.0.0α版を動かしたときは、アプリの変更がほとんど発生しなかった。
S110でifdefしてるところがあれば、S130も追加しておけばよいとか、そのくらいだったような。

そうしておけば、急なnRF52832への引っ越しも大丈夫!だと思う・・・。
まだnRF52832で技適が取れているボードがないから、よくわからんがね。
そうそう、nRF52832ボードでNordicのセミナーで配布されたバージョンは、Errataを参照して反映させるとよいですよ、とNordicのどこかのページに出ていた。
まあ、うちにあるのはPreview版だから関係ないんですけどね。。。

2016年3月18日

[nrf51][nrf52]nRF5 SDK v11.0.0

NordicのSDK情報と言えば、こちら。
developer.nordicsemi.com:/

たまには確認しておくか。

ふむ、まだ昨年から更新されてないな、よしよし。

image

 

まあ、一応nRF5は確認しておくか。

image

 

えっ・・・。

image

 

はい、というわけで、久々にメジャーリリースだと思います。
Nordicのブログにも出てますな。
Production release of nRF5 SDK v11.0

では、恒例の更新日時履歴を載せよう。

  • v6.1.0 : 2014/08/29
  • v7.1.0 : 2014/11/26
  • v7.2.0 : 2015/01/15
  • v8.0.0 : 2015/03/06
  • v8.1.0 : 2015/05/07
  • v9.0.0 : 2015/07/10
  • v10.0.0 : 2015/11/09
  • v11.0.0 : 2016/03/11

今回は、ずいぶん間が開きましたな。
nRF51とnRF52の統合が図られたのであろうか。

2016年3月14日

[eclipse]Build VariablesでIndex用のインクルードパス設定

ARMのコンパイルは、GCCを使うことが多い。
コンパイルだけならコマンドラインでいいのだが、デバッグするのはテキストエディタと連動してくれたツールが無いとつらい。
なので、普段はeclipseを使っている。

eclipseはよくやってくれるのだが、エディタ画面でこういうマークが出てくるとがっかりしてしまう。

image

そう、インクルードパスがわかってないので、読み込めなかったことを示しているのだ。
気にしなければよいのだけど、せっかく示してくれるのなら解決したい気もする。
以前も似たようなことをやったのだけど、もうずいぶん前なので調べ直すことにした。


基本的には、プロジェクトのプロパティでパスを設定すればよい。
こんな感じ(nrftestはプロジェクト名)。

image

nRF51 SDKのようにSDKを使う場合、includeパスがいっぱいあって、それにそのパスは相対だ。
だから、そこへのルートパスを変数にして、あとはそこからのパスを書けばいいようにしておきたい。

きっとそういう変数があるだろう、とプロジェクトのプロパティを見て出てきたのが、”Build Variables”と”Environment”だ。

image

どっちも似たようなものに感じるけど、何が違うんだ?


What are Eclipse's Build Variables and how do they differ from the Environment Variables? - Stack Overflow

  • Build Variablesは、Eclipseでのみアクセスできて、こんな感じで使う。
    make ${valiablesの名前}
  • Environmentは環境変数として設定するので、外部ツールからでも使える

じゃあEnvironment Variablesまで書けよー!
悩んだじゃあないか。

 

今回はeclipseにだけわかればよいので、Build Variablesにしておこう。

image

あとは「C/C++ General > Paths and Symbols」にひたすら追加していく。

image

。。。のは面倒なので、1つ追加して、Export SettingsでパスだけXML出力する。
そのファイルを見ると、<includepath>${NRF51_SDK_PATH}/components</includepath>のような出力になっているので、テキストエディタで開いて、Makefileからパスを持ってきて、うまいこと加工すればよい。

そしてそのXMLファイルをImport Settingsで読込めば完了だ。
ああ、Importすると「追加」になるので、重ねたくないものがあれば先に削除しておきたまえ。

こうしておくと、また別のプロジェクトを作ったときも、このXMLファイルをImportすればよいので楽だ。
同じファイルにBuild Variablesの設定もあれば言うことなしなのだが、すべてを求めるのは止めておこう。

 

GCCのパスも追加したいなら、そうするとよかろう。
こんなことをすると、パスが出てくる。

$ echo | arm-none-eabi-cpp -Wp,-v > gcc_inc_paths.txt 2>&1

このコマンドはARM版だけど、検索したときにはcppが使われてたから、普通のGCCでもいけるだろう。

2016年3月13日

[DL]層を増やしてみよう (2) - 最終回

増やすのだ。

layerSizes = 2:50*3:2

単に、cntkファイルの*2を*3にしただけだ。
グラフを見てみると、数が増えているのがわかる。
龍の背骨みたいだな(見たことないけど)。

image

肝心の結果は・・

ErrorPrediction/Sample = 0.3946932

隠れ層が2枚の時は0.04145937だったので、よくない。
これが、層を増やしたからといって結果がよくなるわけではない、という現象か。

 

活性化関数を変えてみよう。

  • Sigmoid : 0.3946932
  • Tanh : 0.048092869
  • RectifiedLinear : 0.059701493

ほう、2枚だったときとはずいぶんと違うものだ。
あのときはSigmoidが一番よい結果だったのだが、今回は一番悪い。
TanhとRectifiedは安定している・・・のか?
そういう単純なことでは無いんだろうな。

 

では、何も考えず、隠れ層を5枚にしてみよう。
3枚くらいの時には気にならなかったが、5枚くらいになるとCNTKの実行時間が格段に違うな。。。
そして、RectifiedLinearの速さに気付くようになった。

  • Sigmoid : 0.46766169
  • Tanh : 0.053067993
  • RectifiedLinear : 0.46766169

うーん・・・。
どう考えるとよいのか。


とにかく、層を増やせばいいというわけではないのは、わかった。
そして、活性化関数によって結果がずいぶん違うのもわかった。
また、処理時間も違いがあるのがわかった。

 

こういうのって、時間がかかる=性能がよくなる、というのを期待してしまうのだが、そうならない。
そして、このパラメータだけ気にすればよい、というわけでもない。
そもそも、パラメータだけじゃ無くて、入力するデータの形式とか、隠れ層にしても単に全部つなぐだけじゃなく、戻したり、一部は伝えなくしたりとか、やり方がいろいろある。

その辺りの微調整が、CNTKのSimpleNetworkBuilderではできないから、自分でネットワークを組んでいくのかな?
でも、ミニバッチとかを見直すだけでも違いがあったから、自分で組むのは最終手段なのだろうか。

じゃあなんだ、次は自分でネットワークを組んでみる、なのか?
やったことないけど、敷居が高そうだなぁ・・・。
CNTKの、音声認識みたいな複雑そうなものでもSimpleNetworkBuilderを使っているから、ほかにいじれるパラメータがあるのかもしれん。
しれんが、よくわからんので、次回からMNISTのサンプルを見ながら作ってみましょうかね。

[DL]層を増やしてみよう (1)

CNTKのサンプルを1つだけ動かして、そもそもなんだっけ、という振り返りを行っているところ。
活性化関数については、とりあえず「やってみて一番それっぽいのを選べばいいんじゃないの?」で終わらせた。

活性化関数を使うのは、ユニットというか層というか、出力するところだ。
活性化関数の値が出力なのだけど、それを受け取る層にとってはそれが入力になる。

image

どの本にも出ていそうな図だが、結局はこのつくりが基本になっている。
実際はこの層の中にユニットがたくさん入っていて、ユニット同士がつながっているから矢印は1本では無いのだけど、いっぱい引っ張っても図としてはいいことがないので、こう表現しているのだろう。

この隠れ層がいっぱいあるのが、多層ニューラルネットワーク。
まあ、これはわかる。
では、多層ニューラルネットワークと、ディープなものの間には何があるのだろうか?

 

前に見ていた、CNTKサンプルのSimple2dは、隠れ層が2層あった。
増やしていけば何か見えてくるだろうか?
ということで、次回やってみよう。