2016年11月29日

[py]buffer()とbytearray()の違いはなんだろう?

よくわからないまま、どこかからコピーしたコードを使うことがしばしばある。
それによって、これってなんだろう?という疑問が湧くこともしばしば。

 

いま、paho-mqttでpublish()するところを見ていたのだが、こんな書き方をしていた。

publish(topic, buffer(data1) + bytearray(data2))

なんとなく、buffer()もbytearray()も似たようなことをしてくれそうだ。
何が違うのだろう?

 

以前、16進数の配列を作る際に、こういうやり方があることを知った。

cmd = bytearray([0x03, 0x12, 0x34, 0x56])

これだと、cmd[1]などで数値が取ってこれるので、そのままif文や添字として使える。
bytearrayは組み込み型で、バイト配列を返すシーケンスとのこと。

 

一方、bufferは毛色がなんか違う。
bufferオブジェクト、なのだ。
CのAPIを使うときなどに出てくるようなので、素のバイト配列なのだろう。

 

data1 = 15
data2 = '1234abcd'.decode('hex')

buf = buffer(chr(data1)) + buffer(data2)
print 'buf=', buf.encode('hex')

dat1 = ord(buf[0])
dat2 = buf[1:]
print 'dat1=', dat1
print 'dat2=', dat2.encode('hex')

buf= 0f1234abcd
dat1= 15
dat2= 1234abcd

data1 = 15
data2 = '1234abcd'.decode('hex')

buf = bytearray(chr(data1)) + bytearray(data2)
print 'buf=', str(buf).encode('hex')

dat1 = buf[0]
dat2 = buf[1:]
print 'dat1=', dat1
print 'dat2=', str(dat2).encode('hex')

buf= 0f1234abcd
dat1= 15
dat2= 1234abcd

 

bytearrayはencode('hex')がないし、str型ではないからstr()で囲んだり、ord()が不要だったりという違いがある。

 

data1 = 15
data2 = '1234abcd'.decode('hex')

buf = buffer(chr(data1)) + bytearray(data2)
print 'buf=', buf.encode('hex')

dat1 = ord(buf[0])
dat2 = buf[1:]
print 'dat1=', dat1
print 'dat2=', dat2.encode('hex')

buf= 0f1234abcd
dat1= 15
dat2= 1234abcd

混合できて、その場合はstr型と同じ扱いになるようだ。

 

paho-mqttのpublish()は、payloadとして文字列を使いたいようだ。
intとか送りたかったらstruct.pack()してくれ、と書いているし。
bytearray型を引数にして使えているのだが、これはpahoがstr()で囲んだりしてくれているからかもしれん。

・・・と思ったが、違った。
bufferを与えると例外が発生したのだ。

TypeError: payload must be a string, bytearray, int, float or None.

bytearrayは許可してたのね。。。
そしてintはstruct.pack()してくれ、だと思ったのだけど、例外の内容を見るとintも許可しているような感じだな。
まあ、使わないから調べないけど。

2016年11月28日

[py3]2to3ではdecode/encode('hex')などは変換してくれないようだ

さて、いま作っているプロジェクトもpython3対応しようと、2to3.pyにかけてみた。
ワイルドカードで指定できなかったので、cygwinでxargsを使ったが、printがprint()になっているので変換できたのだろう。
よし、とpyCharmの設定もpython3にして開いてみると、指摘がたくさん。。。

こんなのが指摘されている。

struct.pack('<H', length).encode('hex')

bytes = lenstr.decode('hex')

 

hiro99ma blog: [py]python3は16進数の扱いが違うんだ

違うんだ、を実感した瞬間である。


decode/encodeはstr型用だから、bytes型だと使えない。
struct.pack()はbytes型で返すようになっている。
だから、bytes型の扱いに変換すればよいだけのことだ。

文字.decode('hex')は、bytes.fromhex(文字)にすればよいはずだ。
そこはそれで済みそうだが、"\xab\x12"のようにして作っていた文字列をbytes型に変換しないと、fromhex()したデータとの足し算というか連結ができないことがわかった。
これは、文字列の前に「b」を付けるだけでよいようだ。

と、やってみたのだが、bytesの要素をord()したりstruct.unpack()すると怒られる。。。

ord(cmd_bytes[0])

strがほしいのにintが渡されている、ということだった。
デバッガで見てみると、bytes配列の要素はint型になっていた。
そうか、ord()しなくてもいいんだ。。。

が、これはこれで別の問題が起きた。
辞書のkeyとして"\xab"のような値を使っていたのだが、これをbytes型にしないと検索できなくなった。
しかし、検索するのはbytesから1バイト取ってきたデータなので、そのままだとint型になってしまう。
よくわからんので、cmd_bytes[0].to_bytes(1, byteorder='little')、などとしてbytes型に変換して、動きはしたのだけど、ダサい。。。

4. 組み込み型 — Python 3.5.2 ドキュメント
なるほど、要素として取り出すとintになるから、サイズ1の配列として取り出せばよいのか。

cmd = cmd_bytes[pos: pos+1]

こんなのでよい。
数値にしたければ、cmd[0]とすればよいだけなので、こっちの方が扱いやすいな。

 

encode('hex')するのは目で読める文字にするとき、decode('hex')するのは実際のデータにするとき、という使い分けをしていた。
これは、bytes型にhex()というメソッドがあり、それでよかった。


私がbytes型を使うときのやり方をまとめると、こう。

  • 文字列でエスケープシーケンスを使って16進数を表していた→あたまに「b」を付ける
  • decode('hex')していた→bytes.fromhex()にする
  • ord()していた→bytesを1要素として取り出す(data[3]など)
  • bytes型として切り出したい→配列として取り出す(data[3:4]など)
  • encode('hex')していた→hex()にする

struct.pack/unpack()は、to_bytes()もあるし、あまり使わないかも。
to_bytes()の逆はなさそうだから、unpack()は使うことになるか。。。あ、int.from_bytes()というのもあるようだ。
to_bytes()はメソッドなのに、from_bytes()はstaticメソッドなのはなんでだろう?

 

pyCharmで指摘が出ているのは、あからさまにbytes型になったと分かる箇所だけだ。
型指定がないから、引数でもらったものをdecode('hex')などとしていても、そこは出てない。
だから、たくさん指摘が出ていると思ったけど、氷山の一角なのだ。
2to3でやってくれよーと思ったのだが、これはちょっと無理だな。

 

また、変換しようとしていたpythonプロジェクトは、str型のbytearrayで扱う場合と、str型で16進数文字列を扱う場合が混在していて、あっちではstruct.pack/unpack、こっちではdecode/encode('hex')と、実にまとまりがない。

今回は、python3にするのだったら、もう一度書き直した方が早そうだ。。。

2016年11月27日

[pyCharm]フォルダが表示されなくなったら、Content Rootを疑う

なぜか、pyCharmのプロジェクトツリーにフォルダが表示されなくなった。
先週は普通に使っていた気がするのだが、何をしたのか記憶にない。。。

 

あれこれ見てみたが、Settingsダイアログを開き、「Project:xxx > Project Structure」を見ると、Add Content Rootのところが赤文字になっていた。
よくわからないながらも、一度削除して、また追加すると直った。

 

困ったことに、これはUNCパスの場合はうまくいかなかった。
結局、一度Windowsのローカルフォルダに移動させ、pyCharmの設定を修正して、またUNC上に戻すことになった。

まあ、推奨していないから仕方ないんだけどね。

[c/c++]Cクイックリファレンス第2版

オライリーの、Cクイックリファレンス第2版を買ってきた。
2016年11月に出たばかりだ。

O'Reilly Japan - Cクイックリファレンス 第2版

C11準拠ということで、私の知らないことがいろいろ出ているのだろう。
まあ、使うときになら無いと読まないような気がするのだが、もしマルチスレッド処理が標準で書けるのならば「RTOS採用するほどのことでもないしなぁ。でも後から使った方が良くなるかも」と迷ったときに、労力が少ないから最初からマルチスレッドで書いておこう、という選択肢が出てくるかもしれない。

 

さて、まえがきのコラム欄に、日本語版だけだと思うがコーディング規約ESCRのことが書かれていた。
ESCRが何なのか知らなかったが、Embedded System development Coding Referenceの略で、IPAが出している資料にもあるやつだった。

「【改訂版】組込みソフトウェア開発向けコーディング作法ガイド[C言語版]Ver.2.0(ESCR Ver.2.0)」PDF版と付録データの公開:IPA 独立行政法人 情報処理推進機構

私も、いくつかこれを読んだときの記事を書いている。
検索して3つ出てきたが、たぶんまだあるだろう。

 

このESCRだが、PDFでダウンロードできるものを読んだ範囲では、pythonのPIP-8とはちょっと違う。
「コーディングスタイル」ではなく「コーディング規約」なので、インデントはどうの、改行はどうの、というようなルールは書いていない。
保守性4で「統一した書き方にする」という決まりを作っているだけで、どう書くべきかというところには踏み込んでいない。

まあ、C言語の人にそういうのを強要すると、嫌がるよねぇ。
私も嫌だ。
本のコラム欄では、astyleなどの自動整形ツールに任せると効率がよい、とあり、私も賛成だ。

ただ、期待するastyleのオプションを決めるのは、なかなか難しい。
私は最近、タブをスペースで書くようになってきたので、こうしている。

--style=k/r --indent=spaces=4 -j

正解はないので、自分のプロジェクトなら自分のスタイルに、他のプロジェクトに参加するならそのスタイルにしていくことになるだろう。

 

これがテキストエディタと連携して動的に表示されると書いている間に修正するだろうけど、書いているリズムが狂ってしまうので嫌かもしれない。
難しいねぇ。

2016年11月26日

[py2]feature無きprint()は、タプル扱い

「動力無きK村」(炎色反応の覚え方)みたいだが、その話ではない。

python2ではステートメントのprintがあるから、組み込み関数のprint()が使いたい場合にはimport文を書くように、となっている。
28.4. future_builtins — Python 3 のビルトイン — Python 2.7.x ドキュメント

が、python2.7でprint()とprintを両方書いたが、どちらも動いた。
なぜだろうか?

 

PEP 3105 -- Make print a function | Python.org
featureのimportを書いていない場合は、print()の関数、ではなく、printステートメント+タプル、という動作になっているということか?

print('Hello! I\'m Python2', 'not feature')

これをpython2.7.12で実行すると、こうなった。

("Hello! I'm Python2", 'not feature')

python3.5.2だと、こうなる。

Hello! I'm Python2 not feature

なるほどねぇ。

[py3]2to3で変換してみよう

作業場にて。。

Aさん「このpython、バージョンは何で書いてるの?」
私「2.7です」
Aさん「3じゃないんだ。。。」

というわけで、そろそろpython3を視野に入れないといかんようだ。

 

python2.7をインストールすると、Tools\Scriptsの中に2to3.pyというスクリプトがある。
これがpython2をpython3に変換してくれるツールらしいので、試してみよう。


print 'Hello! I\'m Python2'


単純すぎで済まん。。。
私が思いつくpython2と3の違いは、printで括弧がいるかどうかなのだ。

これを「python2.py」というファイル名で保存して、2to3にかけてみる。
うちはWindowsで、python2.7はC:\Winappli\Python27というフォルダにインストールしている。


C:\Prog\python\py3test>python C:\Winappli\Python27\Tools\Scripts\2to3.py python2.py
RefactoringTool: Skipping optional fixer: buffer
RefactoringTool: Skipping optional fixer: idioms
RefactoringTool: Skipping optional fixer: set_literal
RefactoringTool: Skipping optional fixer: ws_comma
RefactoringTool: Refactored python2.py
--- python2.py  (original)
+++ python2.py  (refactored)
@@ -1 +1 @@
-print 'Hello! I\'m Python2'
+print('Hello! I\'m Python2')
RefactoringTool: Files that need to be modified:
RefactoringTool: python2.py


オプションを付けないと、差分だけ表示するが、-wを付けるとファイルに書き込んでくれる。
前のファイルは.bakを付けて残される。


print('Hello! I\'m Python2')


まあ、予想通りの結果だ。
python3で実行しても動く。
めでたしめでたし。

 

ではあるのだが、これをpython2で動かしても、ちゃんと動くのだ。
じゃあ、最初からprintも括弧を付けて書いておけばいいのに、なんでそういうサンプルになっていなかったのだろう?

軽く調べたところ、python2で括弧無しのprintは、passやbreakと同じ「print」というステートメントという扱いらしい。
6. 単純文 (simple statement) — Python 2.7.x ドキュメント

そして、2.7の方で動いたのは組み込み関数のprint()なのだが、これは2.6から追加されているようだ。
2. 組み込み関数 — Python 2.7.x ドキュメント

python2では当初print()関数がなかったから、ステートメントのprintで書いているため、それを見て覚えた人がまたステートメントのprintを使って。。。ということで、脈々と受け継がれたということだろう。

ああ、新参者の私には分からぬ事情であったことだよ。

2016年11月25日

[git][win]GitExtensions 2.49

Windows用のgit GUIツール(フロントエンド?)の1つであるGit Extensionsが、16日前にバージョンアップしていた。

Release Version 2.49 · gitextensions/gitextensions

 

ばりばりに使う人だったら、コンソールからgitコマンドを使うのだろうけど、自信がないのでツールにお任せしている。
おかげで、サーバにSSHで接続してやるときはコマンドが分からず苦労するのだけどね。。。

 

こういうツールは海外製が多いのだが、日本語に差し替えができるものもある。
GitExtensionsもできる。
が、gitの使い方を検索するとだいたいコマンドを使うやり方なので、コマンドが日本語に訳されているとわからなくなるのだ。
まあ、だいたいカタカナになっているだけなのでわかるのだけど、本当に英単語をカタカナにしただけなのか心配になるので、英語表記のまま使っている。

 

個人的には、gitで困ったことをやらかしたときの対処がツールにほしいところだ。
普通にcommitするとかだったら私でもできるし、GUIツールでもできるのだが、「○○してしまった!」みたいな場合はコンソールでやらないと戻せないことが多い。

そして、そういうやり方は覚えていないので、ネットで検索する。
やり方はコマンドを使う方法なので、コンソールになる、ということになる。
汎用性があってよいのだけど、手軽にやれるとよいなぁ、とも思うのだ。

そういうツールこそ自分で作ればよいのだろうけど、gitコマンドに対する技術が向上しないので作ることができない、という悪循環だ。。。

2016年11月24日

Google Playにあげていたアプリを非公開にしました

数年前にアップしたままにしていたAndroidのアプリだが、今日は「動かない」というメールが来ていた。
アプリは「ニモカ残高」というアプリで、PaSoRiが必要なのだが、たぶんPaSoRiをつないでいないのだと思う。

が、これは私のタイトルの付け方が悪かった。。。
あたまに「PaSoRiで」くらい付けておかないと、中身なんて普通は読まないのだ。
私も今回指摘されて「そういえば読まない」と気付いた。

 

これは私が悪かったので、ついでにアプリを全部非公開にした。
もう改造する気力もないので、さっさと非公開にしておけばよかったのだよ、私。。。

 

メールをくれた人、ありがとうございます!
来ないと気付きませんでした。

 

なお、nimocaなど交通系でSuicaと相互に使えるものは、たぶんSuicaを読むアプリで使えるので、そのアプリを使うのがよいと思う。

[py]pyCharmでUNCのパスを開くのは推奨していないそうだ

冬になり、デスクトップ環境だと足が寒くなった。
そうなると、自然とコタツ開発になってくる。

image

 

今作っているpythonスクリプトはLinux上で動かす前提だ。
うちはWindowsメインなので、VirtualBox上でLinuxを動かしている。
そして、そこにpythonスクリプトも置いている。

コタツにはノートPCがあり、そこからVirtualBox上の環境にアクセスするには、VirtualBoxのネットワーク設定を「ブリッジアダプター」にせねばならなかった。
「ホストオンリー」だとデスクトップ環境からしかアクセスできないのだ。

 

そうやってノートPCからVirtualBox上のLinux環境にアクセスできるようになった(Linux上ではSambaを動かしている)。
pyCharmで作ったプロジェクトも、ごそっとLinux上に移動させた。

そこまではよかったのだが、Windowsでネットワーク上のファイルアクセスする場合は\\serverのようなUNC名でアクセスすることになるのだが、pyCharmのプロジェクトを開くダイアログでUNCのパスを入力してもアクセスできないのだ。

 

検索したところ、pyCharmというかJetBrain系のツールかもしれんが、UNCでのアクセスは推奨していないようだった。
ネットワークドライブを設定してくれ、というような回答が見つかった。

しかし、それはめんどうなので、UNCでアクセスすることにした。


やり方は難しくなくて、ExploreからUNC先のフォルダを開き、そのpythonファイルをpyCharmで開くだけだ。
UNCのところには、あらかじめpyCharmのプロジェクトファイルを置いていなくてはならないだろう。
だから、一度ローカルでプロジェクトを作って、UNC先にコピーすることになるかな。

pyCharmで開くのは、pyファイルに関連づけていなければ、コンテキストメニューの「プログラムから開く」で選べばよいだろう。

一度開くと、pyCharmのプロジェクト一覧にはUNCの名前でも残るので、それをアクセスすればよい。
まあ、推奨されていないので正しく動かなくても知らんけどね。
うちの場合は実行がローカル環境じゃないので、単なるエディタとして使っているが、今のところ問題なさそうだ。
もちろん、Linux先のpython環境を参照するわけではないので、importでローカルに入っていないものがあればエラーが出てしまうが、そういうのはなんとかしよう。

2016年11月23日

[py]1バイト分のstrを数値に変換するならord()が使える

先頭にデータ長が付いたstr型のデータを扱うことが多い。
こんなのだ。

cmd = '\x03\x12\x34\x56'

Cだったら、先頭のデータ長を取ってきたい場合、こうするだろう。

cmd = "\x03\x12\x34\x56";
uint8_t length = (uint8_t)cmd[0];

pythonだと、いつもこうやっている。

cmd = '\x03\x12\x34\x56'
length = struct.unpack('B', cmd[0])[0]

 

これが、ぱっと頭に思いつかない。。
そして、長い。
他に方法はないのだろうか?


1つ私が勘違いしていたのは、16進数でデータを突っ込んだ文字列はbytearray型だと思い込んでいたことだ。
文字列は、文字列だ。だからstr型になる。

これがッ、bytearray型だッ!

cmd = bytearray([0x03, 0x12, 0x34, 0x56])

まあ、他に記述方法があるのかもしれんが、見つけたのがこの書き方だった。
Cの書き方に近い。

この書き方の利点は、数値を取ってくることが可能なところだ。

cmd = bytearray([0x03, 0x12, 0x34, 0x56])
print 'cmd[0]=', cmd[0]

期待通り!

ただ、str型ではないので、こういうのはできない。

print 'cmd=', cmd.encode('hex')

が、これならいける。

print 'cmd=', str(cmd).encode('hex')

 

そうか。。。SQLiteで取ってきたBLOB型をstrして使っていたが、こういう意味だったのか・・・。
そういえば、BLOB型にINSERTとかするときも、bytearrayで囲んでいるし。

 

今はstrベースでやっているので、こういう感じで使うのがよさそうだ。

cmd = '\x03\x12\x34\x56'
print 'cmd=', cmd.encode('hex')
length = bytearray(cmd)[0]
cmd_byte = cmd[1: 1 + length]
print 'cmd_byte=', cmd_byte.encode('hex')

これだと、3バイト分表示されるので、これでいこう。

lengthに代入するのが「bytearray(cmd[0])」だとダメだった。
1バイト分取ってくるという意味では同じそうに見えるのだが。。。


などとごにょごにょ調べていたら、もう1つ別の方法を見つけた。
ord()だ。

length = ord(cmd[0])

こういうのを求めてたんだよ!

 

逆のパターンの、数値を文字列化する場合はchr()だそうだ。
今までこうやって書いていたのだけど、

%02x' % length

これでよいことになる(lengthの範囲によるけど)。

chr(length)

こう書くと、「cmd2= 02789a」となる。

cmd2 = chr(2) + chr(0x78) + chr(0x9a)
print 'cmd2=', cmd2.encode('hex')

 

組み込み関数は、私が求めているものが多そうなので気に掛けておかねば。