ラベル LMDB の投稿を表示しています。 すべての投稿を表示
ラベル LMDB の投稿を表示しています。 すべての投稿を表示

2020年8月21日

[lmdb][win10]もう少しlmdbがうまく動作しない件をWSL2で調査

Windows10がversion 2020でなくてもWSL2が使えるという情報が!

WindowsUpdateと再起動を何回か繰り返し、たぶんWSL2になった。
見た目が変わらないので確信が得られないのだが。

 

WSL2になって確認したかったのは、これ。

hiro99ma blog: [lmdb][win10]もう少しlmdbがうまく動作しない件を調査
https://hiro99ma.blogspot.com/2018/06/lmdbwin10lmdb.html

LMDB以外のDBでも似たようなissueが上がっていたので、ファイルシステムが原因だろう。
そしてWSL2になって改善されたということでさっそく動作確認した。

 

記憶がおぼろげなのだが、1回目の実行はDBファイルを新規作成するので成功。
2回目からがエラーになって、最初の起動から5~10秒くらい経過すると成功する、とかだったか。

やってみると・・・・エラーにならない!
WSL2で解決されたんだ!!

胸のつかえが下りましたな。

2019年2月24日

[c/c++][lmdb]MDB_RDONLYとMDB_BAD_DBI(未解決)

またしてもLMDBについてだ。



マルチスレッドでLMDBを使っている。
書き込まずに読むだけ、という状況もよくあるため、MDB_RDONLYフラグを使ってread onlyにしていた。



LMDBでは、envとtxnについてMDB_RDONLYが使えるようになっている。
読んだり書いたりなので、envではなくtxnに対してMDB_RDONLYを指定することになる。
通常はそれで問題ないのだけど、ずーーーっと動かしていると、不意にmdb_put()でMDB_BAD_DBIが発生することがあるのだった。

MDB_BAD_DBIの説明は「The specified DBI was changed unexpectedly」。
DBIはDB Indexか、DB Integerか。ともかく、mdb_put()しようとしたDBが既に変更されていたとか、そんな意味だろう。


しかし、だ。

LMDBはマルチスレッドやマルチプロセスに対応していることになっている。
それに、mdb_txn_begin()でトランザクションを開始しないとDBのオープンができない。

だから、マルチスレッドで使う場合はenvを共有しておけばなんとかなるつもりでいた。
それが破られたのだから、私も動揺するというものだ。



エラーコードを文字列にすると「MDB_BAD_DBI: The specified DBI handle was closed/changed unexpectedly」となっているから、closeしたという可能性もあるようだ。
どっかでやってるのか。。。



ネットで検索していたとき、似たような話題を見つけていたのだが、どこかわからん。
RDONLYのあとはcommitなのかabortなのか、という質問だった気がするんだけど、URLが見つけられない。

いろいろ気になるし、まだ解決していないので、なんとかしたいものだ。


まずは、マルチスレッドで2つ動かした場合の動作を見てみよう。

https://gist.github.com/hirokuma/b810e234e6dd4b4ef8baaf1050425d3a

thread_func()を2つ立ち上げる。中でtxn_beginして、sleepして、txn_abortするだけだ。
スレッドは2つ連続して立ち上げているのだが、1番目がtxn_begin()した時点でブロックされて、2番目がtxn_begin()し終わるのは1番目がsleepから起きてtxn_abort()した後だ。
これは期待通りだ。


では、MDB_RDONLYを混ぜるとどうなるだろうか?
これは、1番目を通常、2番目をMDB_RDONLYにした場合だ。

https://gist.github.com/hirokuma/98f8d064f3bd4e049b3026da9190ae76

こうすると、txn_beginでロックされず、両方とも動いてしまう!
ロックされる前提で考えていたので、これが原因だろう。
念のため、caseの1と2を逆にしてみたが、これも両方とも動いた。


おそらくLMDBの期待としては、先にtxn_beginした方のtxnをparentで指定してtxn_beginする、なのだろう。


read onlyとそうでないものが交互になるようにやってみた。

https://gist.github.com/hirokuma/db5921856cc7e1b2409357487237238e

[2] txn_begin: RDONLY
[1] txn_begin
[2] txn_abort
[1] put
[1] txn_commit

この程度ではエラーにならないようだ。

現象が起きたログから、スレッドとmdbの動作をまねしてみた。

https://gist.github.com/hirokuma/b0b5a9a92930f5c9a91dbcab207c382b

が、これでもエラーにならない。。。

1. open RDONLY(tid=10216)
   last txnid=17
   -->db_open(tid=10216)
   -->db_open exit(tid=10216)
2. open NORMAL(tid=10217)
   last txnid=17
   -->db_open(tid=10217)
   -->db_open exit(tid=10217)
3. abort RDONLY(tid=10216)
4. open NORMAL(tid=10216)
   last txnid=17
   -->db_open(tid=10216)
5. put(tid=10217)
  -->db_w(tid=10217)
  -->txn commit(tid=10217)
  -->db_w exit(tid=10217)
   -->db_open exit(tid=10216)
txn abort(tid=10216)


そうだよな、3番でRDONLYをtxn_abortさせ、すぐに4番でNORMALなtxn_beginをするんだけど、この時点でブロックされるのだよ。
5番で別スレッドがtxn_commitすることでブロックが解除されて続きが始まる。

そうならないことがあるからMDB_BAD_DBIが起きるんだろうけど、さっぱりわからんな。

2019年2月12日

[c/c++][lmdb]mdb_cursor_get(MDB_NEXT)の位置

久々にLMDBだ。
といっても、記事にするのが久々なだけで、毎日使っている。


にも関わらず、まだ理解できていないことが多い。
今回は、mdb_cursor_get()でMDB_NEXTを指定した場合についてだ。


cursorを使う場合、だいたいこんな感じになるだろう。

01:     while ((retval = mdb_cursor_get(cursor, &key, &data, MDB_NEXT)) == 0) {
02:         const char *p_key = (const char *)key.mv_data;
03:         const char *p_data = (const char *)data.mv_data;
04:         if (p_key[4] == '5') {
05:             mdb_cursor_del(cursor, 0);
06:         }
07:         printf("key=%s, data=%s\n", p_key, p_data);
08:     }

サンプルもこんな感じで、while()でMDB_NEXTを使って全部取得するようになっていたと思う。


で、上のコードではmdb_cursor_del()を使ってみた。
取得したデータの一部が「5」だったら、それを消したい、というわけだ。
やってみると、ちゃんと対象のデータだけが削除された。


ならいいじゃないか、と思いそうだが、気になったのはMDB_NEXTだ。
私は今まで「取得した後に次へ移動する」という意味だと思っていたのだ。
LMDBのドキュメントには"Position at next data item"と書かれているので、次のデータ位置にポジションを移動する、と解釈したのだ。

しかし実際は、「5」のデータを取得できた後でmdb_cursor_del()すると「5」のデータが消えたので、そういうわけではないのだ。
だから、「次へ移動して取得」という意味になる。



じゃあ、cursorをオープンした直後はどうなんだ?
カーソルの位置は先頭にあるだろうから、2番目のデータから取得されそうではないか。
しかし、そんなことはないのはわかっている。
ならば、オープンした直後はどうなっているのだ?

01:     if ((retval = mdb_cursor_get(cursor, &key, &data, MDB_GET_CURRENT)) == 0) {
02:         const char *p_key = (const char *)key.mv_data;
03:         const char *p_data = (const char *)data.mv_data;
04:         printf("KEY=%s, DATA=%s\n", p_key, p_data);
05:     } else {
06:         fprintf(stderr, "ERR(%u): %s\n", __LINE__, mdb_strerror(retval));
07:     }

これをオープンした直後に実行したのだが、エラーになった。
Invalid argumentだそうだ。
mdb_cursor_get(MDB_NEXT)でwhile()ループを抜けた後に実行してみると、最後に取得したデータが取れた。


つまり、mdb_cursor_get()は、opの動作をした後にカーソル位置のデータを取得するのだ。
opの動作ができない場合はエラーになるし、cursorのオープン直後はまだカーソル位置が先頭にもなっていないからMDB_GET_CURRENTはエラーになるということか。


どうにも気になっていたのに、確認しないまま使っていたのよねぇ。。。
不安だったので、削除するときはmdb_del()の方を使っていたのだ。

2018年6月2日

[lmdb][win10]もう少しlmdbがうまく動作しない件を調査

以前、こういう記事を書いた。


hiro99ma blog: [lmdb][win10]Windows10 1803でWSLのファイル書込みがうまく動いてない?(2018/05/05)
https://hiro99ma.blogspot.com/2018/05/lmdbwin10windows10-1803wsl20180505.html


今日(2018/06/02)もまだ発生している。
Ubuntu 18.04も試してみたが、同じだ。
だから、これはOSよりもWSL側に何かあるんじゃなかろうかと考えた。

解決できないだろうけど、せっかくなので、もう少し調べてみよう。


前回からgistの内容を変更しているので、再掲しておこう(Revision 3)。

https://gist.github.com/hirokuma/4ea889b2a596c59ef4f862e9df54e469


これを実行させると、初回から3秒くらいまでの間はL.95でエラーが出力されている。

test1(): OK
ERR(95): MDB_BAD_TXN: Transaction must abort, has a child, or is invalid

前回のブログではmdb_put()でエラーになったと書いているが、mdb_get()だな。
勘違いして書いたのか、現象が変わったのか・・・。
mdb_put()がうまくいっていないから、mdb_get()に失敗したといいたかったのかもしれんが、よくわからんな。


まあ、よかろう。
mdb_get()で失敗しているのだ。


まず、実行するディレクトリを変えてみた。
前回動かしたときは、Windowsで作業しているディレクトリだったのだ。
もしかすると。WSLで管理しているディレクトリじゃないとうまくいかない、とかあるのかもしれん。

が、これは関係なさそうだった。
「~/」に移動させて実行したが、結果は同じだ。



次は、失敗したときと成功した時をstraceで眺めた。

失敗時の出力。
どのくらい抜粋すればよいかわからないので、いいところが載ってないかも。

mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_SHARED, 3, 0) = 0x7f2044f1d000
open("testdb/data.mdb", O_RDWR|O_CREAT, 0644) = 4
fstatfs(4, {f_type=0x53464846, f_bsize=4096, f_blocks=58348607, f_bfree=35725114, f_bavail=35725114, f_files=999, f_ffree=1000000, f_fsid={1, 0}, f_namelen=255, f_frsize=4096, f_flags=1056}) = 0
pread64(4, "\0\0\0\0\0\0\0\0\0\0\10\0\0\0\0\0\336\300\357\276\1\0\0\0\0\0\0\0\0\0\0\0"..., 152, 0) = 152
pread64(4, "\1\0\0\0\0\0\0\0\0\0\10\0\0\0\0\0\336\300\357\276\1\0\0\0\0\0\0\0\0\0\0\0"..., 152, 4096) = 152
mmap(NULL, 1048576, PROT_READ, MAP_SHARED, 4, 0) = 0x7f20440e0000
open("testdb/data.mdb", O_RDWR|O_DSYNC) = 5
fcntl(3, F_SETLK, {l_type=F_RDLCK, l_whence=SEEK_SET, l_start=0, l_len=1}) = 0
write(2, "test1(): OK\n", 12test1(): OK
)           = 12
lseek(4, 16384, SEEK_SET)               = 16384
writev(4, [{"\4\0\0\0\0\0\0\0\0\0\2\0\22\0\302\17\302\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\5\0\0\0\0\0\0\0\0\0\2\0\22\0\356\17\356\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\6\0\0\0\0\0\0\0\0\0\2\0\22\0\330\17\330\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}], 3) = 12288
fdatasync(4)                            = 0
pwrite64(5, "\0\0\20\0\0\0\0\0\0\20\0\0\10\0\1\0\0\0\0\0\0\0\0\0\1\0\0\0\0\0\0\0"..., 120, 32) = 120
write(2, "ERR(95): MDB_BAD_TXN: Transactio"..., 73ERR(95): MDB_BAD_TXN: Transaction must abort, has a child, or is invalid
) = 73


成功時。

mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_SHARED, 3, 0) = 0x7f4d72ec0000
open("testdb/data.mdb", O_RDWR|O_CREAT, 0644) = 4
fstatfs(4, {f_type=0x53464846, f_bsize=4096, f_blocks=244189951, f_bfree=103944675, f_bavail=103944675, f_files=999, f_ffree=1000000, f_fsid={1, 0}, f_namelen=255, f_frsize=4096, f_flags=1056}) = 0
pread64(4, "\0\0\0\0\0\0\0\0\0\0\10\0\0\0\0\0\336\300\357\276\1\0\0\0\0\0\0\0\0\0\0\0"..., 152, 0) = 152
pread64(4, "\1\0\0\0\0\0\0\0\0\0\10\0\0\0\0\0\336\300\357\276\1\0\0\0\0\0\0\0\0\0\0\0"..., 152, 4096) = 152
mmap(NULL, 1048576, PROT_READ, MAP_SHARED, 4, 0) = 0x7f4d720e0000
open("testdb/data.mdb", O_RDWR|O_DSYNC) = 5
fcntl(3, F_SETLK, {l_type=F_RDLCK, l_whence=SEEK_SET, l_start=0, l_len=1}) = 0
write(2, "test1(): OK\n", 12test1(): OK
)           = 12
lseek(4, 8192, SEEK_SET)                = 8192
writev(4, [{"\2\0\0\0\0\0\0\0\0\0\2\0\22\0\302\17\302\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\3\0\0\0\0\0\0\0\0\0\2\0\22\0\356\17\356\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}], 2) = 8192
pwrite64(4, "\n\0\0\0\0\0\0\0\0\0\2\0\24\0\240\17\320\17\240\17\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096, 40960) = 4096
fdatasync(4)                            = 0
pwrite64(5, "\0\0\20\0\0\0\0\0\0\20\0\0\10\0\1\0\0\0\0\0\0\0\0\0\1\0\0\0\0\0\0\0"..., 120, 32) = 120
write(2, "test2(): OK\n", 12test2(): OK
)           = 12


失敗straceログは、2回目の実行を載せている。
初回だとディレクトリ作成やファイル作成に違いが出てきてわかりにくいからだ。

文字色を付けたところが、コンソールログ("write"で始まる行)。
背景色を付けたところは、違いがありそうな箇所。


失敗時は、ファイル4へのpwrite64()が発生していない。
fd=4は、最初に開いた方のtestdb/data.mdbだ。。。あれ、fd=5もtestdb/data.mdbだな。
同じファイルをオープンしているのか?

2回目のopen()にはO_DSYNCが指定されていた。
「ファイルに対する書き込み操作は、同期 I/O のデータ完全性完了の要件に基づいて行われる」らしい。
https://linuxjm.osdn.jp/html/LDP_man-pages/man2/open.2.html


・・・などと、違いがあるところばかり気にしていたが、test1()でOKを出力させる前のところでファイル書込みをしてないよね?
mdb_put()に相当する処理がスキップされている??
既にデータがあるから、書き込む前にデータを比較して、同じだからスキップされたのかもしれない。
まあ、ストレージへの書込みはコストが高いので、さもありなん。


そしてもう1つ。
成功する状態でいくつかstraceを取ってみたが、lseek()されるサイズは16384の場合もあったし、違うサイズの場合もあった。
その際、背景色が緑の出力は行われていなかった。。。


何が起きているのか、さっぱりわからんな。


WSLではないLinuxでのstraceを見よう。


mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_SHARED, 3, 0) = 0x7f10690bc000
open("testdb/data.mdb", O_RDWR|O_CREAT, 0644) = 4
fstatfs(4, {f_type="EXT2_SUPER_MAGIC", f_bsize=4096, f_blocks=7607162, f_bfree=594658, f_bavail=590562, f_files=3840000, f_ffree=2984847, f_fsid={-2044918571, 1650642210}, f_namelen=255, f_frsize=4096, f_flags=4128}) = 0
uname({sysname="Linux", nodename="lntest1", ...}) = 0
pread64(4, "\0\0\0\0\0\0\0\0\0\0\10\0\0\0\0\0\336\300\357\276\1\0\0\0\0\0\0\0\0\0\0\0"..., 152, 0) = 152
pread64(4, "\1\0\0\0\0\0\0\0\0\0\10\0\0\0\0\0\336\300\357\276\1\0\0\0\0\0\0\0\0\0\0\0"..., 152, 4096) = 152
mmap(NULL, 1048576, PROT_READ, MAP_SHARED, 4, 0) = 0x7f106839c000
open("testdb/data.mdb", O_RDWR|O_DSYNC) = 5
fcntl(3, F_SETLK, {l_type=F_RDLCK, l_whence=SEEK_SET, l_start=0, l_len=1}) = 0
write(2, "test1(): OK\n", 12test1(): OK
)           = 12
lseek(4, 16384, SEEK_SET)               = 16384
writev(4, [{"\4\0\0\0\0\0\0\0\0\0\2\0\22\0\302\17\302\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\5\0\0\0\0\0\0\0\0\0\2\0\22\0\356\17\356\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\6\0\0\0\0\0\0\0\0\0\2\0\22\0\330\17\330\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}], 3) = 12288
fdatasync(4)                            = 0
pwrite64(5, "\0\0\20\0\0\0\0\0\0\20\0\0\10\0\1\0\0\0\0\0\0\0\0\0\1\0\0\0\0\0\0\0"..., 120, 32) = 120
write(2, "test2(): OK\n", 12test2(): OK
)           = 12


fd=4へのpwrite64()呼び出しは、起きたり起きなかったりで、これはWSLと同じだ。
連続して実行するとpwrite64()が呼び出されないようなので、キャッシュに吐き出されるまでは呼び出していないのかもしれん。


WSLで失敗したとき。

lseek(4, 16384, SEEK_SET)               = 16384
writev(4, [{"\4\0\0\0\0\0\0\0\0\0\2\0\22\0\302\17\302\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\5\0\0\0\0\0\0\0\0\0\2\0\22\0\356\17\356\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\6\0\0\0\0\0\0\0\0\0\2\0\22\0\330\17\330\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}], 3) = 12288
fdatasync(4)                            = 0
pwrite64(5, "\0\0\20\0\0\0\0\0\0\20\0\0\10\0\1\0\0\0\0\0\0\0\0\0\1\0\0\0\0\0\0\0"..., 120, 32) = 120
write(2, "ERR(95): MDB_BAD_TXN: Transactio"..., 73ERR(95): MDB_BAD_TXN: Transaction must abort, has a child, or is invalid
) = 73


Linuxで成功したときの例。

lseek(4, 16384, SEEK_SET)               = 16384
writev(4, [{"\4\0\0\0\0\0\0\0\0\0\2\0\22\0\302\17\302\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\5\0\0\0\0\0\0\0\0\0\2\0\22\0\356\17\356\17\0\0\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}, {"\6\0\0\0\0\0\0\0\0\0\2\0\24\0\240\17\320\17\240\17\0\0\0\0\0\0\0\0\0\0\0\0"..., 4096}], 3) = 12288
fdatasync(4)                            = 0
pwrite64(5, "\0\0\20\0\0\0\0\0\0\20\0\0\10\0\1\0\0\0\0\0\0\0\0\0\1\0\0\0\0\0\0\0"..., 120, 32) = 120
write(2, "test2(): OK\n", 12test2(): OK
)           = 12


lseek()の結果と、pwrite64()の一番最後にある引数は毎回変わるので、Linuxの方は何度か実行して同じような出力を探した。


つまり、straceの結果からでは違いが分からんということだ。


まだだ・・・今のわしには力が足りんのだ。。。

2018年5月5日

[lmdb][win10]Windows10 1803でWSLのファイル書込みがうまく動いてない?(2018/05/05)

Windows10で、2018年春のアップデートが行われた。
ありがちだが、バグはいろいろあるようだ。

そしてうちでも、そのバグに悩まされることになった。
WSLだ。


https://gist.github.com/hirokuma/4ea889b2a596c59ef4f862e9df54e469


lmdbのmdb_put()がうまく処理できないようなのだ。

MDB_BAD_TXN: Transaction must abort, has a child, or is invalid

最初はmdb_get_cursor()を使って失敗していたのでcursor関連かと思い込んでいたのだが、どうもMDB_txnのチェックでエラーになっているようだ。

https://github.com/LMDB/lmdb/blob/86a90cad721cbdc0bb0a9c3bf15396f5c946ae95/libraries/liblmdb/mdb.c#L7164



そして、DBファイルを残したままであれば、test1()を実行しなければ発生しない。
test1()のmdb_put()をコメントアウトするだけでも大丈夫そうだ。

MDB_txnは毎回MDB_envから取ってきているので、MDB_envに何か残っているということか・・・。


mdb_env_sync()というAPIがあった。
http://www.lmdb.tech/doc/group__mdb.html#ga85e61f05aa68b520cc6c3b981dba5037

何か残っているというならば、ファイルシステムへの書き込みができていないとかだろう。
ただ、ライトキャッシュが吐き出されていなかったとしても、再起動しているわけでも無い状態でOS経由で読み込む分にはキャッシュから読み込んでくれないといかんはずだ。
じゃないと、単に「書込みをしなかった」のと同じになってしまうではないか。。。

ひとまず、test1()とtest2()の間に、以下を追加した。

mdb_env_sync(env, 1);

そして、DBファイルを削除して実行すると・・・動いた。



じゃあ、mdb_env_sync()せずに、コマンドでsyncを実行したらうまく行くのでは?と思ったが、そうでもなかった。
が、syncせずとも、LMDBサンプルを一度実行して失敗した後、5~10秒くらい待ってからもう一度実行すると成功した。


なんじゃそりゃー


そんな感じで、一時的に回避したいなら、強制的に吐き出させるしかなさそうだ。
まいったなぁ。


そして、mdb_env_sync()をmdb_txn_commit()後に行うようにしてみたのだが、作ったサンプル程度であれば動いたのだが、作業でやってるアプリだとダメだった。。。
サンプルでダメだったときはmdb_get()なんかで発生していたのだが、私のアプリだとmdb_txn_commit()で起きてしまう。

MDB_TXN_FINISHEDかMDB_TXN_ERRORが原因のようだが、ファイルの書き込みが疑わしいとなってしまうと、DBとしては何が正しいのかわからんので、WSLが原因なのか、私の実装が悪いのかは、今回の現象が直ってからだな。

2018年3月9日

[c/c++][lmdb]同じ名前のDBが複数出来てしまう謎 (3) - 番外編

また、lmdbで(自分で)やらかしていることに気付いた。


lmdbで、mdp_dumpというコマンドがある。
DBのフォルダを指定すると、どういう構成になっているか分からなくても、取りあえずダンプ出力してくれる。
便利だ。

サンプルとしてソースファイルもあるので、やり方をまねしていた。


が、まねの仕方が甘かった。


https://github.com/LMDB/lmdb/blob/mdb.master/libraries/liblmdb/mdb_dump.c#L275-L277

この部分を、いつの間にか違う実装にしていた。
ええ、前回の失敗と同じですよ。。。

ちゃんとここでは、keyのsize + 1だけバッファをとり、コピーして、末尾に\0を設定しているのだけど、私は何も考えずにconst char*でキャストして使っていたのだ。


これは何がkeyになっているかというと、DB名だ。
つまり、mdb_dbi_open()で渡したconst char*である。
だから、ここは\0も含めてDBに入っているのだろうと思い込んでいたのだけど、実際に収められているのはstrlen()のサイズだった。

困ったことに、キャストしただけでもほとんどの場合でうまくいってて、まったく気付いてなかった・・・。


まあ、DB名でこういうことをやるのは、あまりよろしくないのかもしれない。
とはいえ、Key-Value store型でDBを複数持てるのであれば、cursorでDBを串刺しでの検索をやりたくなる状況は多いだろう。


ルールはそう多くないのだが、ちょっと気を抜くと牙をむいてくるところが難しいですな。

2018年3月6日

[c/c++][lmdb]同じ名前のDBが複数出来てしまう謎 (2) - やはり私か

なんとなく予想できていたと思うが、昨日の件はやはり私が悪かった・・・。
疑って済まん、lmdbよ。


原因は・・・mdb_dbi_open()に与えるname(DB名)の末尾に、\0を付け忘れた、だッ!!


あああああ、恥ずかしい。。。。。


以下、全部言い訳だ。


DB名を作るのに、プレフィクスと16進数の組み合わせを使っていた。
"HK23a8bc24"みたいな感じだ。

16進数の部分は変数の値を文字列にしたもので、桁数が多いので関数を作っていた。
イメージとしては、こんな感じか。

char dbname[60 + 1];
strcpy(dbname, "HK");
hex2str(dbname + 2, hexarray);

これで、hex2str()で\0まで付けるようにしていた。


今まではそれでやっていたのだが、これの配列版がほしくなった。
for文で末尾に付ければいいや、と思ったのだが、ここで変なことを考えてしまった。

「桁数が決まっているのだから、strcat()とかで追加せずに、memcpy()でやった方が早いんじゃないの?」と。

プレフィクスも固定長だから、memcpy()した方がいいよねー(たぶん)、とか考えて、結果的にこうなった。

char dbname[60 + 3 + 1];
hex2str(dbname + 2, hexarray);
memcpy(dbname, "HK", 2);
for (int lp = 0; lp < xxx; lp++) {
  char str[3 + 1];
  sprintf("str, "%03d", lp);
  memcpy(dbname + 60, str, 3);
  mdb_dbi_open(xxx, dbname, ....);
}

はい、結果として、dbnameの末尾は未初期化のままとなったのでした。


なんとなく心配したので、printf()でdbnameをログに出していたのだけど、見事にゴミでは無いだったのだろう。
期待したdbnameしか出力されていなかったのだった。
わかったあとで"0x02x"でバイナリ出力させると、0x7Fだったり0x00だったり。
0x7FはDELだっけ? あれは出力に出てこないのか。


こういう話をすると「だからスタック変数は最初に初期化すべきだ!」という人が出てくる。
そして、こちらもやらかした身だから、全然強く言えない。


でも、やはり無条件でスタック変数を初期化するというのは、あまり好きになれないのだ。
初期化する処理だって、コードが発生するし、処理時間も発生してしまうと思うと、バグで苦労することになったとしても、極力最小限で抑えてしまう。


全くの未初期化であればコンパイラも検知できるのだが、今回のように\0だけ忘れた文字列、となると、ちょっと難しいだろう。
静的解析ツールでも無理なんじゃなかろうか。

そうなると、VCみたいに、デバッグモードの時は無意味な値(0xccだっけ)で埋められる方がよいのかもしれないが、今回のように「忘れた」となると、デバッグモードでは動作してリリースモードでバグが現れる、という、しばしば見られる事態が発生してしまう。


そう思うと・・・初期化しないことが悪なのだろうか。。。
何か私を力づける手法を見つけたいものだ。

2018年3月5日

[c/c++][lmdb]同じ名前のDBが複数出来てしまう謎 (1)

protobufの調査をしたかったのだが、緊急事態発生だ。


mdb_dbi_open()でデータベース名を指定する場合、MDB_CREATEを付けていれば、なければ新規作成してくれるし、あれば既存のものをオープンする。
単純な話だ。


しかーし!

昨日、不思議な現象が起きるようになり、DBを作り直しても必ず再現するのだが、未だに解決方法が分かっていない。


mdb_put()を何回も行い、mdb_dumpコマンドで確認して、データが1種類しか無いことは確認できた。

しかし、それをmdb_drop()しようとしたら、MDB_NOTFOUNDが発生してしまった。
よくよく見ると、mdb_drop()ではなく、その前のmdb_dbi_open()で発生しているのだ。
でも、チェックするとデータは存在しているのである。


よくわからないので、dropするときのmdb_dbi_open()で、MDB_CREATEを指定して、dropしないようにしてみた。
その結果をmdb_dumpコマンドで確認すると、同じデータベース名が複数出てきたのだ。


違いがあるのは、mdb_dbi_open()するまでの過程だ。

うまくいっているときは、mdb_txn_begin()でトランザクションを取って、mdb_dbi_open()でデータベースをオープンして、mdb_put()なりmdb_get()なりしている。


現象が起きるときは、トランザクションを取るところは同じなのだが、mdb_dbi_open()で名前を指定していない。
そして、取得したdbiでmdb_cursor_open()し、これをぐるぐる回して、全部のデータベース名を見に行っているのだ。
期待するデータベース名が見つかったら、その名前でmdb_dbi_open()したり、そこからアクセスして得た名称でmdb_dbi_open()して、あーだこーだしたあと、dropさせている。


「あーだこーだ」と省略したが、いろいろやっているのだ。
だから、正統派としては、現象に影響しないところをじわじわ切り取っていって、キツネ狩りのように追い込んでいくのがよいのだろう。

が、気力が無いときは、えいや、で片付けてしまいたいではないか。
昨日から今日に掛けてがそういう気分で、そして、未だに解決していない。。。


ちなみに、名前を指定せずにmdb_dbi_open()するのは、mdb_dumpコマンドを参考にしている。

https://github.com/LMDB/lmdb/blob/mdb.master/libraries/liblmdb/mdb_dump.c#L253

memchr()で\0を探し、見つかったらやり直している。
たぶん、DB名をstrlen()で保存しているから、DB名だったら\0がその中に無いように作っているのだろう。


envの中に複数のdbiがあり、dbiの中にkeyがある。
だから、まずはdbiをcursorで回して、次に各dbiの中でkeyをcursorで回す、というところか。


全部を検索したいのであれば、そういう方法しか無いのだろうと思う。
じゃあ、これのどこがまずいのだ?


まずいのであれば、MDB_NOTFOUND、ではないはずだ。
そして、同じDB名でデータ生成できないはずである。
それができているということは、なにか想定外というか、lmdbが禁じていることを行っていると考えた方がよいか。


それがわかれば苦労はしないのだが、想像がつかない。
スレッドとかプロセスとかがありがちなのだけど、「あーだこーだ」の最初の方ではopenに成功しているのよねぇ。

2017年12月13日

[lmdb]putに成功してもgetに失敗したのはcommitエラーだった

lmdbで、mdb_get()してキーが無かったらmdb_put()する、という処理にしていた。
それは動いていたのだが、ずっと動かしていると急に、mdb_get()→失敗してmdb_put()→成功→同じキーでmdb_get()→失敗、という動作をするようになってしまった。
今まで動いていたので、APIの使い方を間違っているとか、lmdbの仕様を確認してなかったとかだろうと思ったのだが、どうにもわからない。。。


あれこれ考えていると、mdb_txn_commit()も戻り値があることに気付いた。
いや、commitで失敗してもやれることがないだろうと思って、チェックしていなかったのだ。

そうすると、一覧にないエラーが起きていた。

MDB_MAP_FULL

見ていくと、mdb_env_set_mapsize()にたどり着いた。
えー、これってmdb_put()で返すように書いてあるけど、mdb_txn_commit()のタイミングで返すの。。。
まあ、commitするまで反映しないということからすると、その方が自然なのか。。。


どうやら、mapsizeがDBに保存できるサイズの上限らしい。
たしかに今回は、初めて実動作させて大量のデータを保存させていたのだ。

DBって、ディスク容量に制限されるだけかと思っていたのだが、処理の都合でいろいろあるということがわかった。
SQLとか使うほどじゃないから軽いやつにしよう、くらいで選択してはよくないのかもしれんな。

2017年12月11日

[lmdb]トランザクションのネスト

lmdbのトランザクションはmdb_txn_begin()で始まるが、ネストはできるのだろうか?

LMDB: Getting Started

Transactions may be read-write or read-only, and read-write transactions may be nested. A transaction must only be used by one thread at a time. Transactions are always required, even for read-only access.

R/Wであればネストでき... may beって?
Google翻訳だと「入れ子になっている可能性があります」と訳されたんだけど、「入れ子にすることもできる」の方が正しいのかな。


では、とmdb_txn_begin()をR/Wで2回呼んだのだが、2回目で止まってしまった。
話が違うでは無いか!
2回目のオプションでMDB_RDONLYを付けるといけるのだが、そういう意味でネストできると書いているのだろうか?
いや、今作っているプログラムで2回呼び出して書込んでいるルートがあったので、こうやって心配になって確認しているのだ。
心配だったので回避させたのだが、もしかしたら別スレッドからだったのでロックしなかっただけかもしれない。

スレッドごとに別トランザクションが発生するのは、使い方はよろしくないかもしれない。

A transaction must only be used by one thread at a time.

これは・・・一度作ったトランザクションをスレッド間で使い回すな、という意味だろうか。
「be used」なので、使い回すのはダメだけどbegin()すること自体は問題ない、と捉えてよいのか。。。


ちなみに、straceでロックするところを見てみると、futex(FUTEX_WAIT)を最後に実行していた。
lmdbはPOSIXのlock fileを使うと書いてあったので、ファイルロックしていたからfutexで変化するのを待っているのか?


結果として、何も分からんかった、ということになる。
最初のbegin()がR/Wで、2回目がReadOnlyであればいけることはわかった、というくらいだ。

データ保存はDBにお任せ、と気楽に考えて作っていたのだが、高速性を売りにしているということは管理をアプリ側である程度はやるのが前提なのだろう。
まあ、考えてみれば、そうなるな。

2017年11月18日

[lmdb]mdb_dbi_close()は通常使わない

久しぶりにGoogle HomeやWindows10以外の話だ。
Cのlmdbで、mdb_drop()してエラーが発生したので悩んでいたのだ。


いま、C言語のlmdbを使っている。
「C言語の」とわざわざ書いたのは、どうもpythonなど他の言語にもAPIがあるようだったからだ。
今回はC言語版しか使っていないので、他については分からない。


困っていたのはmdb_drop()だったのだが、そもそもそれ以前にDB保存されているかどうかも危うかった。
ちょっと、まとめておこう。


lmdbの保存から見ていく。

https://gist.github.com/hirokuma/98b5010f4770267ab730efd3422be982

$ sudo apt install liblmdb-dev
$ gcc -o tst lmdb_drop.c -llmdb
$ rm -rf testdb
$ ./tst
$ mdb_dump -a testdb
VERSION=3
format=bytevalue
database=aaa
type=btree
mapsize=1048576
maxreaders=126
db_pagesize=4096
HEADER=END
  6161616161
  313233
DATA=END

databaseが"aaa"、keyが"aaaaa"で、dataが"123"だから、だいたいこんな感じの出力になるのではなかろうか(これはUbuntu 16.04で実行)。


ただ、77行目の「mdb_dbi_close()」のコメントアウトを外すと、DB保存自体されなくなった。
えー、そうなのー!!
順番が、txnの開始→dbi取得だったので、txnのcommitより前にdbiをcloseしてもよいのだろうと思っていたのだ。

確かに、mdb_dbi_close()の説明にも「Normally unnecessary」と書かれているのだ。
通常は不要=やっといても悪いことはない、という判断だったのだが、そうではないのだろう。


では、ここにもう1つdatabaseを追加する。
コメントアウトしている79~92行のコメントを外すのだ。
mdb_dbi_close()は、さっきの話があるので、生かせないのだ。

そうするとですな、dbiが2つ開くことになってしまい、このまま実行するとL82でassertしてしまうのだ。
どうするかというと、L28の引数を1から2に変更するのだ。
つまり、トランザクションを閉じるまでの間は開いていることになるので、その分のmaxdbsは確保しておきなさい、ということだ。


mdb_drop()がうまくいかなかったのも、同じ理由だ。
commit前にL124でmdb_dbi_close()していたので、削除できていなかったのだ。


分かってしまえば大したことはないのだけど、なかなか気付きにくかった。
「Normally unnecessary」というのは本当にそうだったのだけど、Normalって難しいですな。

2017年9月16日

[bow]lmdbのmdb_env_open()でエラーになる

msg queueを使うプログラムを作っていたのでUbuntu16.04で作業していたのだが、socketに変更したので今のbash on Ubuntu on Windowsでも動かせるようになったんじゃなかろうか、ということでやってみた。

・・・そこに行き着く前に、lmdbのmdb_env_open()でエラーが返ってきた。。。


エラーの内容は、exec format error。
ENOEXECというやつだ。

ずーっとたどると、mmap()でエラーを返しているようだった。
gdbを使わず、printfデバッグで探していたので、たどるのが大変だった・・・。
GUI環境じゃないところで、まだgdbを使えないのだよ、私は。


この辺りかな?
mmap's problem · Issue #658 · Microsoft/BashOnWindows

いろいろ書いてあってよくわからんが、まあ、たぶんbowのバグなんだろう。
2017年秋バージョンに期待だ。

2017年8月7日

[c/c++]lmdbでの検索

たまにはFPGAを離れて、DBのことをやってみるのもよいだろう。
そうだな、lmdbなんてどうだろうか?


最後にlmdbのことをやったときは、付属サンプルのmstest.cを見ていくだけだった。
今回は、KEYから検索したり、VALUEから検索するときのことを考えよう。



今のところ、私のlmdbに対するイメージはこうだ。

image


mdb_env_create()で1つのENVを作り、mdb_env_open()する。
ENVからmdb_txn_begin()でTXNを開始し、同じトランザクション内で処理したいものをmdb_dbi_open()でDBIを開く。
あとは、TXNとDBIのセットでmdb_put()したりmdb_get()したり。
終わってトランザクションを確定させたいなら、mdb_txn_commit()してmdb_dbi_close()。
変更したものを破棄するなり、読込むだけで保存するものが無ければ、mdb_txn_abort()だけ。
mdb_put/get()だけでなく、cursor系のAPIもある。


さて、検索するには、どのAPIを使うのがよいのか。。。

いまのところ、私の認識はこうだ。

  • KEYが指定できる場合は、mdb_get()
  • それ以外は、cursor系APIでDBIの中を全部探す

SQLではないので、自分でやるしかないだろう。
mdb_cmp()で比較するようなことができるのかと思ったが、関係なさそうだ。


自分でやるしかないので、全部KEY-VALUEに突っ込むだけではなく、DBIをうまいこと分散させるのもよいだろう。

2017年5月31日

[c/c++]lmdbのmstest.cサンプル

lmdbのmtest.cサンプルにコメントを入れてみた。
見えるかしら?

lmdbのmtest.c

コメントを入れた目的は、何やってるか知るため。
ドキュメントを見てもAPIが多いので、全部読むよりサンプルを眺めた方が早いと思ったのだ。

[c/c++]lmdbをマルチスレッドで使いたい

lmdbで、同じDB(といえばよいのか?)をマルチスレッドで使おうと思っている。
まあ、DBというくらいだから、ロックなんかは自動的にやってくれるだろうと何も考えていなかったのだが、なんだかうまくいっていない。


テスト用だからとエラーチェックをしていなかったので、どこでエラーを出しているか確認用のサンプルを作った。
lmdb multithread open fail

スレッド関数でトランザクションまで開いた後スリープし、その間に別スレッドで同じことを行うだけだ。
どこでエラーになったかというと、openだった。

fail: mdb_env_open(2)=16(Device or resource busy)

うーん、mdb_env_open()はEBUSYを返さないのかと思ったが、そうでもないようだ。


mdb.cを見ると、mdb_env_map()でEBUSYを返す箇所があるから、mdb_env_open()の引数でMDB_FIXEDMAPを使っているせいかもしれない。
言い訳になるが、lmdbのサンプルソースがMDB_FIXEDMAPしか使っていないから、それがデフォルトだと思ったのだよ。。。



そもそも、LMDBにとってマルチスレッドはどういう扱いなのだろうか?

LMDB: Lightning Memory-Mapped Database Manager (LMDB)

ロックファイルを使うからどうのこうの、と書かれている。
それ以外の基本的な考え方としては、

  • A thread can only use one transaction at a time, plus any child transactions.

ということで、トランザクションの間は1つしかアクセスできないようだ。
これがlmdb内でやってくれるのか、外側でそうしないといかんのか。。。


ああ、今回のエラーについては、その次に書いてあった。

  • Use an MDB_env* in the process which opened it, without fork()ing.
  • Do not have open an LMDB database twice in the same process at the same time.

まず、mdb_env系のAPIはopenしたプロセスで使用しなさい、とのこと。
それ以外のAPIだったらfork先でも使ってよいということかな?

また、openは2回するな、と。
今回はこっちでエラーになったのかな?

試しに、MDB_FIXEDMAPフラグを外して実行してみると・・・エラーが出なくなった。
トランザクションでエラーになるかと思ったが、そうでもなかった。
これはbeginさせているだけだからかも。


どこかにまとめて書かれていないものか探したら、Getting Startedページにあった。
LMDB: Getting Started

  • LMDBはPOSIX lockを使う
    • このlockは、1つのプロセスで複数回ファイルを開くと問題がある
    • だから、mdb_env_open()は1つのプロセスで複数回実行するな
      • その代わり、スレッド間でLMDB environmentを共有しなさい
      • そうせんかったら、複数openした箇所のどこかがcloseするとロックが削除されてしまう
  • transactionは、デフォルトでTLS(thread local storage)に入っている
    • read-onlyなtransactionでよいなら、MDB_NOTLSオプションを使ってもよいよ


そんなわけで、LMDBとしてはmdb_env_open()を複数回呼んではいかんのだけど、今回発生したエラーはそれが原因ではなかったし、複数回呼んだからといってエラーになるというわけでもないことが分かった。

2017年5月28日

[c/c++]lmdb

以前、Caffeを見ていたときにlmdbのデータを見る方法を調べたことがある。
http://hiro99ma.blogspot.com/2015/10/caffelmdb.html

このときは、mdb_dumpというツールでデータを見るだけだった。


そして、Cで書かれているKey-Value StoreなDBがないか探していると、lightning memory-mapped databaseなるものが出てきた。
OpenLDAPプロジェクトで作ってるようなのだが、これがlmdbだったのだ。

Symas Lightning Memory-mapped Database | Symas Corporation

世の中、狭いねぇ。


github(ぎっとはぶ、と読むのだね。私は、じっとはぶ、と読んでて怪訝な顔をされたよ)はこちら。
https://github.com/LMDB/lmdb


makeすると、ライブラリなどが生成されていた。
単独でビルドできるか、別の場所に「lmdb.h, liblmdb.a, mtest.c」だけをコピーした。

$ gcc -o tst mtest.c -L. -llmdb -pthread

うん、ビルドできた。

$ ./tst

あ、あれ、死んでしまう。。。
なんだ、dbを置くディレクトリは自分で作らんといかんのか。

$ mkdir testdb
$ ./tst

結果は分からないが、動いた。



lmdbを見つけるより前に、FineDBというものを見つけていた。
FineDB

これがlmdbをベースにしている、と書いていて、そういえばlmdbって記事にしたことあるな、という経緯でたどり着いたのだった。


FineDBはまだ動かしていないが、フォルダ構成がserver/cliとなっていて、これはこれで面白そうだ。
ただ、4年前が最後のcommitなので、lmdbを参照にしている部分は古いのかもね。