2018年3月10日

[BBG]BeagleBone GreenのWindows10 RNDISドライバ

疲れているので、たまには違うことをしよう、と思い立ち、BeagleBone Greenで遊ぶことにした。


BeagleBoneはBlackの方が有名なようだが、Greenというのもある。
秋月通商さんで売っていて、Blackよりも安かったのだ。
http://akizukidenshi.com/catalog/g/gM-09683/

有線LANにつなぎやすい。
無線LANにつなぐなら、USBドングルを挿すことになるだろう。


設定は、ここのGetting Startedを見ていくのがよさそうだ。
http://wiki.seeed.cc/BeagleBone_Green/

STEP2でドライバをホスト側にインストールする項目があるのだが、今のWindows10だからかわからないが、インストール自体に失敗してしまう。。。

こちらはWindows7だが、手動でMicrosoftの互換ドライバを選択すると、警告は出るもののつなげられた。
https://developer.toradex.com/knowledge-base/how-to-install-microsoft-rndis-driver-for-windows-7


数年前に使ったきりで、システムがかなり古い。
COMポート経由でログインすると、イメージが2015-10-20になっていた。。。
cat /etc/debian_versionとすると、7.11だった。
今は、9らしい。


latestのイメージを取ってきて、7zipで展開してimgファイルを取り出し、ImageWriteでSDカードに焼き込み、BBGの電源を切ってSDカードを挿し・・・。
あれ、デバイスで「CDC ECM」というやつが出てきた。。。
"Ethernet Networking Control Model"らしいが、COMポートもEthernetも使えるので、困るまで放置しておこう。

COMポートでログインし、/etc/debian_versionを見ると、9.3になっていた。


ただ、これだけだとSDカードからの起動になるようだから、今のうちに本体側を書き換えておきたい。
/boot/uEnv.txtを編集すればよいようだが、SDカードにはFATのパーティションがなさそうだし、rootのパスワードが分からん。。。

これで、いけた。
http://dumb-looks-free.blogspot.jp/2014/04/beaglebone-black-bbb-debian-root.html

そしてsudo rebootしてしばらく放置しておくと、microUSB近くのLEDがナイトライダーっぽく点灯し始めた(表現が古い...)。
10分くらいかかるようだから、暇なときにやるのがよいだろう。


いつの間にか、LEDが4つとも消灯していた。
これで終わっているはず。

何も考えずにUSBケーブルを抜いて挿したのだが、SDカードを抜くのを忘れないようにしよう。
たぶん、また同じことを始めてしまうはずだ。

COMポート経由で/etc/debian_versionをcatし、9.3なのを確認。
SSHもできたので、まあいいんじゃないだろうか。

2018年3月9日

[c/c++][lmdb]同じ名前のDBが複数出来てしまう謎 (3) - 番外編

また、lmdbで(自分で)やらかしていることに気付いた。


lmdbで、mdp_dumpというコマンドがある。
DBのフォルダを指定すると、どういう構成になっているか分からなくても、取りあえずダンプ出力してくれる。
便利だ。

サンプルとしてソースファイルもあるので、やり方をまねしていた。


が、まねの仕方が甘かった。


https://github.com/LMDB/lmdb/blob/mdb.master/libraries/liblmdb/mdb_dump.c#L275-L277

この部分を、いつの間にか違う実装にしていた。
ええ、前回の失敗と同じですよ。。。

ちゃんとここでは、keyのsize + 1だけバッファをとり、コピーして、末尾に\0を設定しているのだけど、私は何も考えずにconst char*でキャストして使っていたのだ。


これは何がkeyになっているかというと、DB名だ。
つまり、mdb_dbi_open()で渡したconst char*である。
だから、ここは\0も含めてDBに入っているのだろうと思い込んでいたのだけど、実際に収められているのはstrlen()のサイズだった。

困ったことに、キャストしただけでもほとんどの場合でうまくいってて、まったく気付いてなかった・・・。


まあ、DB名でこういうことをやるのは、あまりよろしくないのかもしれない。
とはいえ、Key-Value store型でDBを複数持てるのであれば、cursorでDBを串刺しでの検索をやりたくなる状況は多いだろう。


ルールはそう多くないのだが、ちょっと気を抜くと牙をむいてくるところが難しいですな。

2018年3月8日

[c/c++]protobuf-c (2)

いきなりタイトルと違うことになるが、まずC++版を動かしてみよう。


敵を欺くには、まず自らを欺くところから始めねば。。。
いや、敵では無いな。

ともかく、Googleが標準として出しているものがあるから、その動作を先に見ておきたいのだ。


環境は、Windows10のWSLにした。


インストールは、ここを見た。
http://blog.systemjp.net/entry/20080710/p1


今日の時点では、v3.5.1が最新。

protobuf-cpp-3.5.1.tar.gzとprotoc-3.5.1-linux-x86_64.zipをダウンロードして、展開。
PATHは、protocのbinにだけ通した。


そして、書いてあるとおりにprotoファイルを作って、コンパイラを動かす。

$ protoc -I=. --cpp_out=. addressbook.proto
[libprotobuf WARNING google/protobuf/compiler/parser.cc:546] No syntax specified for the proto file: addressbook.proto. Please use 'syntax = "proto2";' or 'syntax = "proto3";' to specify a syntax version. (Defaulted to proto2 syntax.)

そういえば、proto2と3があると書かれていたな。
2008年の記事だからおそらくproto2で、protocのデフォルトもproto2だからコンパイルできたのだろう。


生成されたソースファイルを見ると、こういう記述があった。

#if GOOGLE_PROTOBUF_VERSION < 3005000
...
#if 3005001 < GOOGLE_PROTOBUF_MIN_PROTOC_VERSION
...

protobuf-cppの、src/google/protobuf/stubs/common.hには、こうあった。

#define GOOGLE_PROTOBUF_VERSION 3005001

まあ、v3.5.1だから、そうなのだな。

2018年3月6日

[c/c++][lmdb]同じ名前のDBが複数出来てしまう謎 (2) - やはり私か

なんとなく予想できていたと思うが、昨日の件はやはり私が悪かった・・・。
疑って済まん、lmdbよ。


原因は・・・mdb_dbi_open()に与えるname(DB名)の末尾に、\0を付け忘れた、だッ!!


あああああ、恥ずかしい。。。。。


以下、全部言い訳だ。


DB名を作るのに、プレフィクスと16進数の組み合わせを使っていた。
"HK23a8bc24"みたいな感じだ。

16進数の部分は変数の値を文字列にしたもので、桁数が多いので関数を作っていた。
イメージとしては、こんな感じか。

char dbname[60 + 1];
strcpy(dbname, "HK");
hex2str(dbname + 2, hexarray);

これで、hex2str()で\0まで付けるようにしていた。


今まではそれでやっていたのだが、これの配列版がほしくなった。
for文で末尾に付ければいいや、と思ったのだが、ここで変なことを考えてしまった。

「桁数が決まっているのだから、strcat()とかで追加せずに、memcpy()でやった方が早いんじゃないの?」と。

プレフィクスも固定長だから、memcpy()した方がいいよねー(たぶん)、とか考えて、結果的にこうなった。

char dbname[60 + 3 + 1];
hex2str(dbname + 2, hexarray);
memcpy(dbname, "HK", 2);
for (int lp = 0; lp < xxx; lp++) {
  char str[3 + 1];
  sprintf("str, "%03d", lp);
  memcpy(dbname + 60, str, 3);
  mdb_dbi_open(xxx, dbname, ....);
}

はい、結果として、dbnameの末尾は未初期化のままとなったのでした。


なんとなく心配したので、printf()でdbnameをログに出していたのだけど、見事にゴミでは無いだったのだろう。
期待したdbnameしか出力されていなかったのだった。
わかったあとで"0x02x"でバイナリ出力させると、0x7Fだったり0x00だったり。
0x7FはDELだっけ? あれは出力に出てこないのか。


こういう話をすると「だからスタック変数は最初に初期化すべきだ!」という人が出てくる。
そして、こちらもやらかした身だから、全然強く言えない。


でも、やはり無条件でスタック変数を初期化するというのは、あまり好きになれないのだ。
初期化する処理だって、コードが発生するし、処理時間も発生してしまうと思うと、バグで苦労することになったとしても、極力最小限で抑えてしまう。


全くの未初期化であればコンパイラも検知できるのだが、今回のように\0だけ忘れた文字列、となると、ちょっと難しいだろう。
静的解析ツールでも無理なんじゃなかろうか。

そうなると、VCみたいに、デバッグモードの時は無意味な値(0xccだっけ)で埋められる方がよいのかもしれないが、今回のように「忘れた」となると、デバッグモードでは動作してリリースモードでバグが現れる、という、しばしば見られる事態が発生してしまう。


そう思うと・・・初期化しないことが悪なのだろうか。。。
何か私を力づける手法を見つけたいものだ。

2018年3月5日

[c/c++][lmdb]同じ名前のDBが複数出来てしまう謎 (1)

protobufの調査をしたかったのだが、緊急事態発生だ。


mdb_dbi_open()でデータベース名を指定する場合、MDB_CREATEを付けていれば、なければ新規作成してくれるし、あれば既存のものをオープンする。
単純な話だ。


しかーし!

昨日、不思議な現象が起きるようになり、DBを作り直しても必ず再現するのだが、未だに解決方法が分かっていない。


mdb_put()を何回も行い、mdb_dumpコマンドで確認して、データが1種類しか無いことは確認できた。

しかし、それをmdb_drop()しようとしたら、MDB_NOTFOUNDが発生してしまった。
よくよく見ると、mdb_drop()ではなく、その前のmdb_dbi_open()で発生しているのだ。
でも、チェックするとデータは存在しているのである。


よくわからないので、dropするときのmdb_dbi_open()で、MDB_CREATEを指定して、dropしないようにしてみた。
その結果をmdb_dumpコマンドで確認すると、同じデータベース名が複数出てきたのだ。


違いがあるのは、mdb_dbi_open()するまでの過程だ。

うまくいっているときは、mdb_txn_begin()でトランザクションを取って、mdb_dbi_open()でデータベースをオープンして、mdb_put()なりmdb_get()なりしている。


現象が起きるときは、トランザクションを取るところは同じなのだが、mdb_dbi_open()で名前を指定していない。
そして、取得したdbiでmdb_cursor_open()し、これをぐるぐる回して、全部のデータベース名を見に行っているのだ。
期待するデータベース名が見つかったら、その名前でmdb_dbi_open()したり、そこからアクセスして得た名称でmdb_dbi_open()して、あーだこーだしたあと、dropさせている。


「あーだこーだ」と省略したが、いろいろやっているのだ。
だから、正統派としては、現象に影響しないところをじわじわ切り取っていって、キツネ狩りのように追い込んでいくのがよいのだろう。

が、気力が無いときは、えいや、で片付けてしまいたいではないか。
昨日から今日に掛けてがそういう気分で、そして、未だに解決していない。。。


ちなみに、名前を指定せずにmdb_dbi_open()するのは、mdb_dumpコマンドを参考にしている。

https://github.com/LMDB/lmdb/blob/mdb.master/libraries/liblmdb/mdb_dump.c#L253

memchr()で\0を探し、見つかったらやり直している。
たぶん、DB名をstrlen()で保存しているから、DB名だったら\0がその中に無いように作っているのだろう。


envの中に複数のdbiがあり、dbiの中にkeyがある。
だから、まずはdbiをcursorで回して、次に各dbiの中でkeyをcursorで回す、というところか。


全部を検索したいのであれば、そういう方法しか無いのだろうと思う。
じゃあ、これのどこがまずいのだ?


まずいのであれば、MDB_NOTFOUND、ではないはずだ。
そして、同じDB名でデータ生成できないはずである。
それができているということは、なにか想定外というか、lmdbが禁じていることを行っていると考えた方がよいか。


それがわかれば苦労はしないのだが、想像がつかない。
スレッドとかプロセスとかがありがちなのだけど、「あーだこーだ」の最初の方ではopenに成功しているのよねぇ。

2018年3月3日

[c/c++]protobuf-c (1)

重い腰を上げ、protobufのことを調べることにした。


https://github.com/protobuf-c/protobuf-c

protobuf-c-rpcというものもあるようだが、今回はprotobuf-cのみ見ていこう。


説明を読むと、`.proto` ファイルをコンパイルするツールのように見える。
コンパイルすると、 `.pb-c.c` と `.pb-c.h` が生成されて、それをincludeするなどして使うとよいのだろう。


まずは素直にビルドさせ・・・させてくれない。
`protobuf` が無いって言われるけど、それをビルドするんじゃ無いの???
いや、確かに手順として protobuf がいるとは書かれていたのだが、知識無しで進めるのは危険そうなので、protobufそのもののことを調べておこう。


https://developers.google.com/protocol-buffers/

Protocol buffers are Google's language-neutral, platform-neutral, extensible mechanism for serializing structured data

らしい。
コンパイラとか何とかじゃなくて、メカニズムなのか。

XMLを意識しているようだが、まあそこはいいだろう。
JSONとかXMLのようなテキスト形式は、私にとっても扱いにくいので、バイナリでシリアライズしてくれるというのは大切だ。

.protoファイルに、データ型やメンバを記載していくようだ。
数字が出てきているが、Cでいうところのenum値みたいなものだろうか。
たぶん、この例の `message Person` が構造体みたいなもので、その構造体で使うものは、型を含めてこの中で定義するのだろう。
型はenum、構造体はmessage、かな。

まあ、推測で書いていくと、後で間違っていたときに書き直すのが面倒だから、ここまでにしておこう。


protoのバージョンは2と3があるらしい。
今はproto3が最新のようだから、そちらだけ見よう。
・・・量が多いので、やめた。


protocだけあればいいかと思ったのだが、そう簡単では無いらしい。
pkg-configでprotobufが無いと言われる。
CLAGSみたいなものを定義してもよいらしいが、C++版のインストールがいるのだろうか?


なんとなく分かったが、protobuf-cのprotoc-cは、protocのプラグインとして動作してCソースを生成するもののようだ。
そしてprotobuf-cがそれを使うためのライブラリ、ということか。

ならば、libprotobuf-devをapt installすればよいのか。。。だめだ、includeファイルが見つからないらしい。

checking google/protobuf/compiler/command_line_interface.h usability... no
checking google/protobuf/compiler/command_line_interface.h presence... no
checking for google/protobuf/compiler/command_line_interface.h... no
configure: error: required protobuf header file not found

むう、apt installでは足りんのか。。。

[c/c++]構造体の構造体も平たくする

前回の続きだ。
が、protobufはまた次以降にする。



やりたいのは、こうだ。

  • 構造体のデータを、DBに読み書きしたい
  • 労力は少なめにしたい
  • 構造体のメンバがしばしば変更される


DBとか何とか書いているが、しょせんデータというのは、データの開始位置を示すアドレスと、そのデータが何バイト続いているかというバイト数だけだ。

そのデータをどう解釈するかは、型による。
が、読み書きだけであれば型はそれほど重要では無く、このアドレスからnバイト続いているんだ、くらいしかいらないだろう。


いるとすれば、型情報とエンディアンか。
まあ、今回は同じマシンにしか戻せなくてよいということと、DBのkey名と型は結びついているという前提であれば、いらないか。


そう割り切ってしまえば、面倒ではあるが、難しくは無い。

構造体メンバを各メンバごとに保存したければ、こうなるか。


01: typedef struct {
02:     int xxx;
03: } st1;
04: 
05: typedef struct {
06:   st1 yyy;
07: };


  1. 構造体メンバyyyのオフセットを得る(offsetof()など)
  2. その中の構造体メンバxxxのオフセットとサイズを得る


両方のオフセットを足せば、開始アドレスが分かるだろう。


問題があるとすれば、ひどく面倒だ、ということだ。
protobufだったら、もう少し便利なのだろうか?

2018年3月1日

[c/c++]構造体のメンバの構造体のメンバのサイズを知るのはめんどうそうだ

前回と似ているが、さらにめんどうな話だ。

struct {
  struct {
    int aaa;
  } bbb;
} ccc;

こんな形になっているときの、aaaのサイズを知りたい。


まずは、前回と同じようなプログラムを書いてみよう。

01: #include <stdio.h>
02: #include <inttypes.h>
03: 
04: #define ARRAY_SIZE(a)       (sizeof(a) / sizeof(a[0]))
05: #define M_SIZE(type, mem)   sizeof(((type *)0)->mem)
06: #define M_ITEM(type, mem)   { #mem, M_SIZE(type, mem) }
07: 
08: struct aaa {
09:     uint8_t     item8;
10:     uint64_t    item64;
11:     const char* itemc;
12:     int16_t     item16;
13:     struct {
14:         uint8_t     item8;
15:         uint64_t    item64;
16:         const char* itemc;
17:         int16_t     item16;
18:     } itemst;
19: };
20: 
21: const struct {
22:     const char  *name;
23:     size_t      sz;
24: } DB[] = {
25:     M_ITEM(struct aaa, item8),
26:     M_ITEM(struct aaa, item64),
27:     M_ITEM(struct aaa, itemc),
28:     M_ITEM(struct aaa, item16),
29:     M_ITEM(struct aaa, itemst),
30: };
31: 
32: 
33: int main(void)
34: {
35:     for (int lp = 0; lp < ARRAY_SIZE(DB); lp++) {
36:         printf("name=%s: %lu\n", DB[lp].name, DB[lp].sz);
37:     }
38: }

うちの環境だと、こうなった。

name=item8: 1
name=item64: 8
name=itemc: 8
name=item16: 2
name=itemst: 32

これだと、構造体まるまるのサイズになっている。
もし構造体の構成を変更してしまったら、DBに保存しているデータと互換性が無くなってしまう(あ、ここではDBに構造体のデータをまるごと残すという目標でやってます)。


もし、構造体メンバに構造体がいたとしても何とかしたいなら、その中身もまたシリアライズしなくてはならない。
ああ、シリアライズ地獄だ。。。


ここまでくると、もうマクロとか実装だけで解決するのでは無く、前処理をして、現在の構造体を処理するデータやコードを自動生成してもらって、それを埋め込みたくなってくる。

これで思い出すのが、protobufだ。
ずいぶん前にちょっとだけ調べたことがあるけれども、あのときはプロトコルのエンコード/デコードをする手段として探していたので、データ保存として見ていなかった。

protobuf自体は、もともとシリアライズする何かだったはずだ。
バイナリのサイズが大きくなりそうだから避けていたけど、もうLinuxでしか動かさない前提になってきたし、そもそもDBを使う時点でそこそこのストレージを積めるくらいには大きなプラットフォームだろうから、とにかく一般的な方法で楽に安全に解決させたい。



そういうわけで、次回からはprotobufをあまり力を入れずに調べていこう。

2018年2月25日

[c/c++]構造体のメンバのサイズだけ知りたい

検索すると、この手の情報はたくさん出てくるのだが、自分でやってみたら書いてみたくなっても仕方なかろう?


サイズをしらべると言えば、sizeof演算子だ。
ただ、これは構造体のメンバを直接指定することができない・・・というよりも、C言語として、構造体の型のメンバだけを表す方法が無いのだと思う。

01: struct aaa {
02:     uint8_t     item8;
03:     uint64_t    item64;
04:     const char* itemc;
05:     int16_t     item16;
06: };

こんな構造体があったとして、たとえばitem64だけを指す方法が無い。
インスタンスになってしまえばよいのだが、sizeofしたいだけなのインスタンスを作るのは避けたい。

じゃあどうするかというと、C言語としてインスタンスのように見えるものを使えばよい。
というわけで、適当な数字を「これはstruct aaa型のアドレスなんです!」と主張して、そのポインタのメンバをsizeofしてしまうわけだ。

#define M_SIZE(type, mem)   sizeof(((type *)0)->mem)

こんなマクロを作って、

M_SIZE(struct aaa, item64)

とすると、

sizeof(((struct aaa*)0)->item64)

と展開される。
意味としては、アドレス0にstruct aaa型のメモリが入っていると見なしているだけだ。
アドレスにアクセスするわけではないので、0じゃなくても、100でも1000でもよい。


急にこの話が出てきたのは、lmdbと関係している。

いま、構造体のデータをlmdbでがさっとメモリダンプ的に保存させているのだが、構造体の構成が変わるたびに前のDBが使えなくなってしまうので、そろそろ何とかしたいと考えている。

やるなら、各メンバごとにkey/dataで保存させていくしか無かろう。
無いのだが、書き直すのがめんどくさい。
なるべく多く書かずにやらせたいわけだ。


lmdbは、keyもdataもMDB_val型を使っている。
MDB_val型は、サイズとデータを持つ構造体だ。
keyにつける名前はバイナリでも文字列でも何でもよいのだが、構造体であればメンバ名にするのがよいだろう。
keyのサイズはstrlen()で出せるからよいとして、あとはdataのサイズだ。
これを機械的に出したいなら、上記のマクロのようなものを作ってしまうのがよかろう。

そして、key名もdataサイズもメンバ名で取り出せるなら、こんなものを用意するとよいか。

#define ARRAY_SIZE(a)       (sizeof(a) / sizeof(a[0]))
#define M_SIZE(type, mem)   sizeof(((type *)0)->mem)
#define M_ITEM(type, mem)   { #mem, M_SIZE(type, mem) }

struct aaa {
    uint8_t     item8;
    uint64_t    item64;
    const char* itemc;
    int16_t     item16;
};

const struct {
    const char  *name;
    size_t      sz;
} DB[] = {
    M_ITEM(struct aaa, item8),
    M_ITEM(struct aaa, item64),
    M_ITEM(struct aaa, itemc),
    M_ITEM(struct aaa, item16)
};


int main(void)
{
    for (int lp = 0; lp < ARRAY_SIZE(DB); lp++) {
        printf("name=%s: %lu\n", DB[lp].name, DB[lp].sz);
    }
}

まあ、そこまで悪くはないかな。

[c/c++]仮引数を書かない場合と戻り型未指定を実際にやってみる

昔のC言語に仕様としてあり、今となってはほぼ使われていない書き方や、推奨されていない書き方がある。
いくつかあるのかもしれんが、私が気付くのはこの2つだ。

  • 戻り値の型を書かないとint
  • 仮引数を省略すると...


知識として持っていて、実際にやったことが無かったので、やってみた。

01: #include <stdio.h>
02: #include <stdarg.h>
03: 
04: func()
05: {
06:     va_list argptr;
07:     va_start(argptr, 3);
08: 
09:     const char *str = va_arg(argptr, const char*);
10:     printf("%s\n", str);
11:     int a = va_arg(argptr, int);
12:     int b = va_arg(argptr, int);
13:     return a + b;
14: }
15: 
16: int main(void)
17: {
18:     int res = func("hello", 3, 8);
19:     printf("result=%d\n", res);
20: }


書くのは書けたが、ビルドが通らない。。。

$ gcc -std=c89 -o tst noarg.c
In file included from noarg.c:2:0:
noarg.c: In function ‘func’:
noarg.c:7:5: error: ‘va_start’ used in function with fixed args
      va_start(argptr, 3);
      ^

funcを、

func(int num, ...)

として、呼び出しの第1引数に何か整数を入れておくと、warningが出る(second parameter of ‘va_start’ not last named argument)ものの通るし、実行できる。
va_start()の第2引数をnumにすれば、warningも消える。


https://linuxjm.osdn.jp/html/LDP_man-pages/man3/stdarg.3.html

va_start()の第2引数は、引数リストのうちで最後にならんでいる引数名、となっている。
うーん、では、「引数名を省略したら...扱い」かどうか確認できないではないか。。。


上記リンクの「注意」「バグ」に説明が載っていた。
stdargでは許されていない、ということで、<varargs.h>を使えば動かせそうだ。

#error "GCC no longer implements <varargs.h>."

あー、gccでは徹底的に使えなくなってるのですな。
残念だが、ここであきらめよう。


01: #include <stdio.h>
02: #include <stdarg.h>
03: 
04: func(int num, ...)
05: {
06:     va_list argptr;
07:     va_start(argptr, num);
08: 
09:     const char *str = va_arg(argptr, const char*);
10:     printf("%s\n", str);
11:     int a = va_arg(argptr, int);
12:     int b = va_arg(argptr, int);
13:     return a + b;
14: }
15: 
16: int main()
17: {
18:     int res = func(3, "hello", 3, 8);
19:     printf("result=%d\n", res);
20: }


こそっと、main関数はreturnなくてもOK、というやつも使っている。
自分でmainを呼び出す処理を書くときは、サブルーチンコールではなくてジャンプで飛ばしてスタックの消費を減らしたりしてしまいがちだ。
C11だと「noreturnマクロなんてものがあるから、今後はそれを書いた方が親切かもしれん。