2019年4月21日

[c/c++]きっちり3文字だけ入力したことを確認する

C/C++を使って長いものの、標準出力とか標準入力には、疎い。
特に、標準入力は使う機会がほとんどなかったので、あまり理解していない。


さて、今、Linuxで標準入力から文字を入力させ、その内容をチェックして処理を進める、ということをやろうとしている。
"YES"と入力した場合だけ進める、ということにしよう。


まずはシンプルに。

01: #include <stdio.h>
02: #include <string.h>
03: 
04: int main(void)
05: {
06:     char prompt[20];
07:     scanf("%s", prompt);
08:     if (strcmp(prompt, "YES") == 0) {
09:         printf("YES !\n");
10:     } else {
11:         printf("no\n");
12:     }
13:     return 0;
14: }

問題点は、大きく2つ。

  • スペースが入ると、その前までしか評価されない
  • バッファサイズよりも大きい文字列が入力できてしまう


前者は、たとえば"YES ?"のように半角スペースを間に挟むと、その手前までしか評価されないということだ。
これはどちらかというと、bashとかそういう環境に依存しているんじゃなかろうか。

後者は、"YESSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS"なんて入力すると、バッファが20しかないので死んでしまう、というやつだ。
%sの方でしばることもできるが、何にせよ前者の方が対処できない。


調べてみると、fgets()で標準入力を取り込む作戦がよく出てきた。

ただ、このfgets()、改行コードもそのまま取り込むようだ。
strlen()で\0の前に改行コードがあるはず、という前提にしようかと思ったが、それなら改行コード込みでmemcmp()でもいいんじゃなかろうか。

01: #include <stdio.h>
02: #include <string.h>
03: 
04: int main(void)
05: {
06:     char prompt[5];
07:     fgets(prompt, sizeof(prompt), stdin);
08:     if (memcmp(prompt, "YES\n", 4) == 0) {
09:         printf("YES !\n");
10:     } else {
11:         printf("no\n");
12:     }
13:     return 0;
14: }

まあ、4を直接書くのは嫌だから、YESの文字列をマクロにしてsizoef()-1するとかか。

2019年4月20日

[python3]文字列の%dみたいなやつは{}になった

最近、テストコードをpython3で書いている。
python3だ、とわざわざ言わないと、以前のようにpython2の期限が近づいていることを忘れてしまうかもしれない。
なるべく「python3」と明記するようにしよう。


それはともかく、私がやっていることはそんなに難しいことではない。
JSON-RPCのインターフェースがあって、python3のAPIが準備されているので、それを呼び出すだけだ。


私の近況はともかく、APIを実行したら、何か結果を出したい。
そして今回は、単に標準出力に出せば良い。
となると、print()だ。
python2であれば制御命令みたいな使い方をされていたが、python3では関数っぽい使い方になった。
まあ、C言語を使っている身としては、そちらの方が自然な気がする。


で、今のところ結果を出力するのに、

print('result=' + val)

だったり、

print(('result: val1=' + val1 + ', ' val2=' + str(val2))

みたいな書き方をしている。

問題は無いのだが・・・リプレースメントというか、C言語のprintf()で言うところの%dや%sみたいな代替文字を使って出力手段があったことは覚えている。

今が、それを使うときだ!


https://docs.python.org/ja/3.6/library/string.html#format-string-syntax
print()特有というよりは、文字列操作の一環なのだろう。
str.format()というのがそれっぽい気がするのだが・・・複雑すぎやしないかい?


あまり難しく考えなければ、arg_nameに数字を使って、波括弧の中にarg_nameを書いて、その順番に並べればいいんじゃなかろうか。

01: hello = 'hello'
02: world = 'world'
03: 
04: print('{0} {1}'.format(hello, world))

hello world

おお、動いた。


これはこれでいいとして、python2のときは%とか使ってた気がする。
あれは、python3では使わなくなったのだろうか?

https://docs.python.org/ja/3/library/string.html#format-examples

「従来の%-書式」とか「古い%-書式」とか書いてあるので、python3だけ覚えておきたいなら気にしなくてよいんだろう。


昔は、このリプレースメントみたいな引数の順番を出力側のフォーマットで入れ替えできる意味が分かってなかったのだけど、多言語化でどうしても語順が入れ替わる場合なんかに有用なのだということに気付いてから、真面目に理解すべきだと考えるようになった。

まあ、いつもログ出力とか、ちょっとした計算結果とかでしか使わないから、+で文字列をつなぐだけのことが多いのだけどね。。。

2019年3月30日

はじめてのオシロ

いやあ、買ってしまいましたよ。
オシロスコープ。



なんとなく計測器をネットで見ていたら、マルツさんでちょうどキャンペーンをやっていたので、衝動的に注文してしまいました。
うん、いつか買うはずだったんだから、それが今だったというだけでしょう。


こんな風に送られてきました。


こんな箱。



一式。


日本モデルなのか、日本語のパネルも付属していました。

袋ラーメンなんかは、入っている具材を全部使うタイプの人間なので、日本語パネルも使おうかどうか悩みましたが、素のままにしました。



一番上の写真は、キャリブレーション用の矩形波を眺めたところです。



オシロなんて数年ぶりだし、そもそもアナログにほとんど触らないので、詳しいことはよくわからんです。

ただ、ロジアナだと1/0しかわからないので、気付いていないことが結構あるんですよ。

先日もArduinoの外部電源は7Vからってのを知らず、点灯しないLEDがあって初めて気付く、なんてことがありました(5VのACアダプタを使ってた)。

数年間気付いていなかったのが、けっこう衝撃だったんです。。。


今までは常駐していた会社の持ち物だったから遊びで使ったりできなかったんですが、私物ならそういう心配が無くてよいですね。

ロジアナも自分で買って使うことで理解が深まったので、オシロもそうなることを期待したいところです。

2019年3月29日

[python]2to3だけでは解決できなかった

前回、python2のサポートが終わるらしいことを今さら知った、という記事を書いた。

困ったときの2to3ということで、ツールに掛けた。
出てきたのは、printのところだけだった。
まあ、そんなに難しいコードは書けないからねぇ。


などとのんびり構えていたのだが、動かすとあちこちで実行時エラーが発生した。
ほとんどが、文字の取り扱いに対するものだ。
python3では「b'xxxx'」みたいにきっちり書かないとアクセスできないAPIが出てきたのだ。
出てきたというか、その辺がpython2と違うというか。

そういうところについては、2to3では解決してくれないようだった。
まあ、そういう微妙なところをちゃんと区別したくなったということかもしれんな。


困るのは、実行時エラーになるということだ。
普段、C言語のようなコンパイラを使う言語の人からすると、実行時にしかエラーが出ないというのが結構苦痛なのだった。
たぶん、pythonも静的解析ツールがあるんだろうなぁ・・・と思いつつ、メインの開発言語じゃないので深く追おうとはしない私であった。

2019年3月16日

[python]python2系の終焉

Raspberry Pi向けにコードを書いている。

どこかで「Raspberry Piの標準開発言語(?)はpythonだ」というのを読んだ気がするので、なるべくPythonで書こうとしている。
まあ、よくわからないときはC言語になるんだけどね。


RaspbianOSをインストールしたてのRaspberry Piで"python -V"と打つと、2.7系のバージョンが返ってくる。
ああ、pythonの2と3があるけど、Raspberry Piでは2系を使うのね。
そう思っていた。


pipをインストールしたときだっただろうか。
なんか、2020年でdeprecatedになる、みたいなメッセージが出てきた。
えっ、python2の世界は永遠に続くわけではないの???


https://pythonclock.org/

どうやら、2020年1月でpython2系のサポートが終わるらしい。
pythonってそういう感じなのねー。
メインで使わない言語って、そういうスケジュールとかまったくわかってなかったですわ。


じゃあ、Raspberry Piがpython2なのはどうなのよ!
ん、もしや・・・

$ python3 -V
Python 3.5.3

うう、まさか両方インストールされているとは・・・。

2019年3月3日

[win10]Ext2Fsdが動かない

ext4のSDカードをWindows10で読みたい。
Raspberry PiのOSが入ってるのだが、wpa_supplicant.confの設定だけやってしまいたいのだ。

会社ではExt2Fsdを使っているので、家でもやってみたのだが・・・マウントできない。
マウントできないどころか、サービスの起動自体がおかしい。



ただ、サービス自体は動いているようなのだ。
なんだ??



イベントビューアに詳細が出ていた。



デジタル署名・・・?

C:\Windows\system32\drivers\ext2fsd.sysを見てみる。



どちらも詳細を見ると「問題ありません」と出ている。
まあ、プロセスとしても起動しているのが見えているし。

とはいえ、デジタル署名で読み込めないといっているのも確かだ。
会社ではWindows10で動いているのだが、違いといえばリビジョンくらいだ。
1803(だっけ? 2018春)と、1809。うちは1809。
もう1台1803で試せるとよかったのだが、ちょうど今朝1809にアップデートしてしまったところで、家には残ってない。

まあ、VirtualBoxでUbuntu立ち上げて、USB経由でSBカードを読めばいいだけなので、そんなにがんばる気力は無い。
GitHubにはソースがあるようだから、自分でビルドすれば自分の環境だったら動かせるかも?
https://github.com/matt-wu/Ext3Fsd

2019年3月2日

[gimp]はじめてのScript-Fu

いきなりのGimpだ。


ときどき気分転換を兼ねて絵を描くことがある。
まあ、ここのアイコンを見たら分かるように、落書きみたいなもんだ。

以前は、PaintShopPro9というアプリを使っていたのだが、Windows10の途中から使えなくなってしまった。
そんなに複雑ではなくて気に入っていたのだが、かといって新しいバージョンを買いたいほど使っているわけでも無い。

メジャーどころのフリーソフトといえば、Gimpだろうということで使っているのだが、まだまだ慣れない。
慣れないのは慣れればいいとして、手間になるところを何とかしたかった。

私は小さい画像しか描けないので、だいたい256x256くらいにしている。
そして、線で描いて、下のレイヤーで塗りつぶしておしまい、みたいな使い方にしている。
画像サイズについてはテンプレートで設定できたものの、最初にレイヤーを追加し忘れて、背景に線を描いた後に塗りつぶそうとしてできない、というのを何度も繰り返していた。

学習しろよ、という気もするのだが、ここは技術的に解決させたい。


PaintShopProではスクリプトで実行できたので、Gimpもそうなるだろう。
どうやらScript-Fuと呼ぶらしい。
単にレイヤー追加くらい簡単だろうと思い、演習をコピペして、いじっていた。


が、なかなか難しい・・・。
けっこうがんばったと思う。

https://gist.github.com/hirokuma/6df2167767cc4c2404d8dfa1d41d0a29


3つレイヤーを作って、真ん中をアクティブにするだけだ。
画像サイズも256x256をデフォルトにしつつ、入力もできるようにしている。
どうせ作成するときはこのサイズしかやらないのだから、と、起動メニューもFileの直下に置いた。


だいたい満足なのだが、表示サイズを2倍にする、というのがどうしてもわからなかった。
gimp-view-xxxxみたいなのがあるかと思ったのだけど、見つからんし。
まあ、いいや。

2019年2月24日

[c/c++][lmdb]MDB_RDONLYとMDB_BAD_DBI(未解決)

またしてもLMDBについてだ。



マルチスレッドでLMDBを使っている。
書き込まずに読むだけ、という状況もよくあるため、MDB_RDONLYフラグを使ってread onlyにしていた。



LMDBでは、envとtxnについてMDB_RDONLYが使えるようになっている。
読んだり書いたりなので、envではなくtxnに対してMDB_RDONLYを指定することになる。
通常はそれで問題ないのだけど、ずーーーっと動かしていると、不意にmdb_put()でMDB_BAD_DBIが発生することがあるのだった。

MDB_BAD_DBIの説明は「The specified DBI was changed unexpectedly」。
DBIはDB Indexか、DB Integerか。ともかく、mdb_put()しようとしたDBが既に変更されていたとか、そんな意味だろう。


しかし、だ。

LMDBはマルチスレッドやマルチプロセスに対応していることになっている。
それに、mdb_txn_begin()でトランザクションを開始しないとDBのオープンができない。

だから、マルチスレッドで使う場合はenvを共有しておけばなんとかなるつもりでいた。
それが破られたのだから、私も動揺するというものだ。



エラーコードを文字列にすると「MDB_BAD_DBI: The specified DBI handle was closed/changed unexpectedly」となっているから、closeしたという可能性もあるようだ。
どっかでやってるのか。。。



ネットで検索していたとき、似たような話題を見つけていたのだが、どこかわからん。
RDONLYのあとはcommitなのかabortなのか、という質問だった気がするんだけど、URLが見つけられない。

いろいろ気になるし、まだ解決していないので、なんとかしたいものだ。


まずは、マルチスレッドで2つ動かした場合の動作を見てみよう。

https://gist.github.com/hirokuma/b810e234e6dd4b4ef8baaf1050425d3a

thread_func()を2つ立ち上げる。中でtxn_beginして、sleepして、txn_abortするだけだ。
スレッドは2つ連続して立ち上げているのだが、1番目がtxn_begin()した時点でブロックされて、2番目がtxn_begin()し終わるのは1番目がsleepから起きてtxn_abort()した後だ。
これは期待通りだ。


では、MDB_RDONLYを混ぜるとどうなるだろうか?
これは、1番目を通常、2番目をMDB_RDONLYにした場合だ。

https://gist.github.com/hirokuma/98f8d064f3bd4e049b3026da9190ae76

こうすると、txn_beginでロックされず、両方とも動いてしまう!
ロックされる前提で考えていたので、これが原因だろう。
念のため、caseの1と2を逆にしてみたが、これも両方とも動いた。


おそらくLMDBの期待としては、先にtxn_beginした方のtxnをparentで指定してtxn_beginする、なのだろう。


read onlyとそうでないものが交互になるようにやってみた。

https://gist.github.com/hirokuma/db5921856cc7e1b2409357487237238e

[2] txn_begin: RDONLY
[1] txn_begin
[2] txn_abort
[1] put
[1] txn_commit

この程度ではエラーにならないようだ。

現象が起きたログから、スレッドとmdbの動作をまねしてみた。

https://gist.github.com/hirokuma/b0b5a9a92930f5c9a91dbcab207c382b

が、これでもエラーにならない。。。

1. open RDONLY(tid=10216)
   last txnid=17
   -->db_open(tid=10216)
   -->db_open exit(tid=10216)
2. open NORMAL(tid=10217)
   last txnid=17
   -->db_open(tid=10217)
   -->db_open exit(tid=10217)
3. abort RDONLY(tid=10216)
4. open NORMAL(tid=10216)
   last txnid=17
   -->db_open(tid=10216)
5. put(tid=10217)
  -->db_w(tid=10217)
  -->txn commit(tid=10217)
  -->db_w exit(tid=10217)
   -->db_open exit(tid=10216)
txn abort(tid=10216)


そうだよな、3番でRDONLYをtxn_abortさせ、すぐに4番でNORMALなtxn_beginをするんだけど、この時点でブロックされるのだよ。
5番で別スレッドがtxn_commitすることでブロックが解除されて続きが始まる。

そうならないことがあるからMDB_BAD_DBIが起きるんだろうけど、さっぱりわからんな。

2019年2月12日

[c/c++][lmdb]mdb_cursor_get(MDB_NEXT)の位置

久々にLMDBだ。
といっても、記事にするのが久々なだけで、毎日使っている。


にも関わらず、まだ理解できていないことが多い。
今回は、mdb_cursor_get()でMDB_NEXTを指定した場合についてだ。


cursorを使う場合、だいたいこんな感じになるだろう。

01:     while ((retval = mdb_cursor_get(cursor, &key, &data, MDB_NEXT)) == 0) {
02:         const char *p_key = (const char *)key.mv_data;
03:         const char *p_data = (const char *)data.mv_data;
04:         if (p_key[4] == '5') {
05:             mdb_cursor_del(cursor, 0);
06:         }
07:         printf("key=%s, data=%s\n", p_key, p_data);
08:     }

サンプルもこんな感じで、while()でMDB_NEXTを使って全部取得するようになっていたと思う。


で、上のコードではmdb_cursor_del()を使ってみた。
取得したデータの一部が「5」だったら、それを消したい、というわけだ。
やってみると、ちゃんと対象のデータだけが削除された。


ならいいじゃないか、と思いそうだが、気になったのはMDB_NEXTだ。
私は今まで「取得した後に次へ移動する」という意味だと思っていたのだ。
LMDBのドキュメントには"Position at next data item"と書かれているので、次のデータ位置にポジションを移動する、と解釈したのだ。

しかし実際は、「5」のデータを取得できた後でmdb_cursor_del()すると「5」のデータが消えたので、そういうわけではないのだ。
だから、「次へ移動して取得」という意味になる。



じゃあ、cursorをオープンした直後はどうなんだ?
カーソルの位置は先頭にあるだろうから、2番目のデータから取得されそうではないか。
しかし、そんなことはないのはわかっている。
ならば、オープンした直後はどうなっているのだ?

01:     if ((retval = mdb_cursor_get(cursor, &key, &data, MDB_GET_CURRENT)) == 0) {
02:         const char *p_key = (const char *)key.mv_data;
03:         const char *p_data = (const char *)data.mv_data;
04:         printf("KEY=%s, DATA=%s\n", p_key, p_data);
05:     } else {
06:         fprintf(stderr, "ERR(%u): %s\n", __LINE__, mdb_strerror(retval));
07:     }

これをオープンした直後に実行したのだが、エラーになった。
Invalid argumentだそうだ。
mdb_cursor_get(MDB_NEXT)でwhile()ループを抜けた後に実行してみると、最後に取得したデータが取れた。


つまり、mdb_cursor_get()は、opの動作をした後にカーソル位置のデータを取得するのだ。
opの動作ができない場合はエラーになるし、cursorのオープン直後はまだカーソル位置が先頭にもなっていないからMDB_GET_CURRENTはエラーになるということか。


どうにも気になっていたのに、確認しないまま使っていたのよねぇ。。。
不安だったので、削除するときはmdb_del()の方を使っていたのだ。

2019年2月3日

[linux]/homeを残して再インストールしたいなら別パーティションにすべし

あれこれ考えたが、結局のところ、一番もっともらしい方法が安全だ、という私の中での結論に至った記念に記事を書いておこう。


VirtualBox上でXubuntuを動かしている。
いや、たぶんXubuntuだった、というくらいの記憶しか残っていない。
もとはUbuntu12くらいでXubuntuに変更したような気もするし、今ではLubuntuのデスクトップを使っているので、もしかしたらxfce4に載せ替えただけだったのかもしれない。


そこまでいくと、もはや使っていないアプリなんかもインストールされていて、訳がわからなくなっている。
もしかすると、dockerなんかを使って開発環境を切り分けるのがよいのかもしれんが、VirtualBox使ってdocker使うのもなんだかなぁと思うし、それ以前にディスクの空きがないので、いらないものを消してやり直したい。


そうなると、/homeだけ残して全部消したい!という要望に駆られる。
ネット検索しても「クリーンインストール」がよく出てくるのは、そういう思いからだろう。
/home残すという記事もあったが、元々別パーティションになっているような気がする。
私がやりたいのは、同一パーティションに/homeが入っているにもかかわらずクリーンインストールして/homeを残す、なのだが、うまいこと見つからなかった。


どこかにバックアップするようなところがあればよいのだが、そうもいかない状況だったので、ディスク容量をゴニョゴニョとやりくりして、/home用のパーティションを作ろうとしている。
幸い、VirtualBoxでディスク容量を増やせるので、一時的に増やして、/home用パーティションをつくり、データを移動して/パーティションを空け、パーティションエディタでサイズ変更したり移動したりしようと画策中だ。

当たり前だが、パーティションの移動が重たい。
が、値のswapやハノイの塔みたいに、どこかに一時的にでも移動しないとどうしようもないので、終わるまで待つしか無かろう。
自分で手作業でやらずに済むだけでましなもんだ。


そして・・・移動が失敗した。。。

gpartではなく、lubuntuのインストールCDに入っていたKDEパーティションマネージャを使っていたのだが、パーティションを移動してリサイズするときに失敗したようだ。

そして、失敗したまま終わってしまい、移動したパーティションも移動元パーティションも不定状態になってしまい、マウントも何もできなくなったようだ。
あーあ。


まあ、これで気兼ねなく新規インストールできるというものだ。


最近のUbuntuがそうなのか、Lubuntu18.10がそうなのかわからんが、CDから起動すると「インストール」という項目がない。
あせったのだが、どうも一度Linuxを起動して、そこからインストールするようだ。


前回の反省を踏まえ、VirtualBoxでディスクを割り当てるときから、システム用とhome用を分けるようにした。
どうやら、ディスクサイズは拡張する方向にはできるものの、縮小する方はサポートしていないようなのだ。
だから、さっき「一時的に増やして」とやったけど、元に戻せないのだな。
やりたかったら、別ディスクを作って、マウントして、そっちに移動してからやるのがよかろう。


さて、Lubuntuの使い勝手は・・・あれ、今までのLXDEと画面が違う。
CDからインストールすると違うんだろうか、とか考えてたが、あ、これ18.10やん!
LTSじゃないやつだった。
XubuntuなんかはLTSがダウンロードしやすくなっているのだが、Lubuntuは最新版が優先なのだな。



というわけで、Lubuntu18.04でやり直し。

なるほど、Lubuntu18.04はCD起動でインストールするメニュー項目があるのだな。
それと、minumal installがあるので、開発環境だけ作りたい場合なんかは助かる。


minumalだけに、何も入ってない。
ifconfigすらできなかった。

新規でやっても大したことは無かろうと思っていたが、sshやsambaの設定があるんだった。
ネットワークの設定がvirtualboxに任せられるから、大した被害ではないとしておこう。