2022年4月20日

[linux] bash の -u と -e

私が bash のスクリプトで bash のオプションとしてしばしば使うのは -u と -e だ。

https://linuxjm.osdn.jp/html/GNU_bash/man1/bash.1.html


-u は、設定されていない変数やパラメータをエラーとして扱うというもの。

私はこの「パラメータ」だけに反応していて、つまり bash の引数である $1 とか $2 を参照しようとして引数として与えられていなかったらエラーになるんだろう、と思い込んでいた。

さっきまで。

しかしよく読むと変数も対象ではないか。

#!/bin/bash -u

$GOPATH/bin/aaa

これで GOPATH に設定し忘れて実行してもエラーになってくれる。
私の開発スタイルだと GOPATH は未設定の状態がデフォルトなので、こうやってエラーになってくれると非常に助かるのだ。

ちなみに今までは、

if [ -z "$GOPATH" ]; then
  echo no GOPATH
  exit 1
fi

みたいなのを書いていた。。。


もう1つが -e で、これは戻り値が 0 以外だったら即時終了するというもの。

まあそのままなのだが、これを付けていると本当に即時終了するので、開発中のデバッグでぐるぐる回すスクリプトなんかで使っているといつの間にか終了してしまっているということがしばしばあり、使うのを敬遠していた。

先ほど -u で気付いたようにこちらも何かあるかもしれないと読んでいると「ERRのトラップ」という言葉が出てきた。

err1.sh というファイルを作ってみた。

#!/bin/bash -eu

function mya() {
    echo MYA-
}

# trap mya ERR

function err1() {
    echo \"err1\"
    return 1
}

err1
echo end.

$ ./err1.sh
"err1"
MYA-

おお!

「trap mya ERR」をコメントアウトすると「"err1"」だけ出力された。

 

全部捕捉されるかは分からんが、助けになりそうだ。

2022年4月17日

[linux] logrotateがまだ動いていないのは場所が悪かった

logrotate のことを昨日書いた。

hiro99ma blog: [linux]思ったより logrotate が難しい
https://hiro99ma.blogspot.com/2022/04/linux-logrotate.html

VirtualBox 環境では確認しづらかったので、AWS に立てている Ubuntu で設定して、眠たかったので明日のお楽しみ、だったのだが、今朝見てみるとまだ動いていなかった。

 

かなり長くなったので結論を書くと、

  • systemd の service で動かす logrotate は /tmp や /var/tmp に mount する PrivateTmp が trueになっている
  • /tmp にログファイルを置いていたのだが、PrivateTmp=true によって /tmp に mount されたことでファイルが見えなくなっていた

である。

 


/var/lib/logrotate/status を見ると、2022年4月17日の0時(UTC)に更新されているものがあった(これを書いているのは2022年4月17日 11時(JST))ので、少なくとも 1回は動作していることがわかる。

うーん、ありそうなのはこんなところか。

  • systemctrl の timer が hourly で動いていない
  • logrotate の設定が hourly で動いていない
  • logrotate は実行したけれどもローテートしなくて良いと判断された

 

まず、自分で追加した logrotate の設定をなかったことにするため、 /var/lib/logrotate/status の中から自分のアプリの行を削除した。
これで前回動作したという記憶がなくなったはずだ。

この状態で logrotate を実行してみよう。

$ cat /var/lib/logrotate/status | grep aaaa
$ sudo logrotate /etc/logrotate.d/aaaa
$ cat /var/lib/logrotate/status | grep aaaa
"/tmp/aaaa/aaaa.log" 2022-4-17-2:0:0

うむ、status ファイルに記録が残った。
日本時間11時・・・UTC 2時なので「2:0:0」でよかろう。
なお logrotate の設定ファイルはこんな感じだ。

/tmp/aaaa/aaaa.log {
    missingok
    hourly
    rotate 12
    copytruncate
    compress
}

aaaa.log はアプリがオープンしたまま書き込むので copytruncate でコピーしてオリジナルは ftruncate してサイズだけ切り詰めてもらう・・・という動作をしてほしい。

あと 1時間待って、systemctl の timer が自発的にやってくれるのを待とう。


放置している間に情報を探しておこう。

How To Manage Logfiles with Logrotate on Ubuntu 20.04 | DigitalOcean
https://www.digitalocean.com/community/tutorials/how-to-manage-logfiles-with-logrotate-on-ubuntu-20-04#step-3-setting-up-an-example-config

んん?
システムの logrotate は1日1回しか動かないから hourly は動かない・・・?
このサイトの人は、自分のアプリ用に logrotate の設定を用意して、ユーザレベルの cron に logrotate を実行するよう書き加えている。 

 

まあ、私が hourly にしているのもさっさと結果を確認したいからであって、時間ごとにログをローテートさせたいわけではないので、本当に daily 以上の間隔じゃないと動作しなかったとしても別に問題ではない。

ただこのアプリは最終的には systemctl で起動させようと思っているので、logrotate も systemctl の方でやってほしい。


さて、あれから1時間が経過した。

/var/lib/logrotate/status に変化はなかった・・・。
systemctl list-timers の方は LAST の時間が更新されていたので、タイマーは動いたのだと思う。
journalctl -u logrotate でも Succeeded になってるしね。

 

となると、やはりシステムでは logrotate が daily 以上の間隔という話が真実味を帯びてくる。
もしかすると /etc/logrotate.conf の設定がそうなっているのかと思ったのだが、そこは weekly だったので関係ないだろう。

では、/lib/systemd/system/logrotate.service を /etc/systemd/system/ にコピーして、logrotate を -v で実行させよう。
そうすれば journalctl でももう少しログが出てくれるんじゃなかろうか。


さらに1時間待った。
logrotate -v のおかげで journalctl で詳細が出てきた。

Apr 17 04:00:12 logrotate: rotating pattern: /tmp/aaaa/aaaa.log  hourly (12 rotations)
Apr 17 04:00:12 logrotate: empty log files are rotated, old logs are removed
Apr 17 04:00:12 logrotate: switching euid to 0 and egid to 4
Apr 17 04:00:12 logrotate: considering log /tmp/aaaa/aaaa.log
Apr 17 04:00:12 logrotate:   log /tmp/aaaa/aaaa.log does not exist -- skipping

does not exist ???
ls すると見えるんですけど ???
sudo logrotate -d で実行してもエラーになりませんし !!!

... すまん、動揺してしまった。
「empty log files are rotated」の方を気にしないといけない気がする。
前の方で logrotate の動作確認をしたので、そのときに truncate されてファイルサイズがゼロになったままだったのだ。
だからきっと「(ファイル自体はあるかもしれんが)ローテートすべきファイルがない」という意味の「does not exist」なのではなかろうか。
ファイルサイズがゼロにならないようにしてもう1時間待ってみよう。

 

なお、設定ファイルの方は root:root がよいそうだ。
これは私の方もそうしていた。

logrotateの設定ファイル、オーナーが重要 - Qiita
https://qiita.com/abetomo/items/59ee7d55e5458a33988c

ログを格納しているディレクトリのパーミッションが影響することもあるそうだ。
私のはこのエラーログではない。

logrotate ~ ログがローテートされないときに~ | GMOインターネットグループ 次世代システム研究室
https://recruit.gmo.jp/engineer/jisedai/blog/logrotate/

エラーログはそうではなかったのだが、ディレクトリが ubuntu:ubuntu だ!
そういえばアプリは AWS の EC2 に立てた Ubuntu そのままのユーザで動かしているのでそうなっている。

does not exist がサイズが原因だったとして、その次はアカウントの方でエラーになるんじゃなかろうか。
conf ファイルを変更しておきたいところだが、あと 10分くらいで timer の時間になるので待っておこう。

 

「empty log files are rotated」はここ。
LOG_FLAG_IFEMPTY がセットされているということは conf に "ifempty" を書いているということかと思ったのだが、私は書いてない。 "notifempty" もあるので、デフォルトは "ifempty" ということか? なら空ファイルでもローテーションするということではないのか??

https://github.com/logrotate/logrotate/blob/4c52ff5a1ddd0c34096824d786e6a68e20c18136/logrotate.c#L2350

そうならば、ログファイルのサイズを増やした次タイミングでも失敗するに違いない。


1時間経った。
「does not exist」は変わらず。。。
ログファイルはサイズそのままだし、ローテートもされていない。

 

「does not exist」はここ。

https://github.com/logrotate/logrotate/blob/4c52ff5a1ddd0c34096824d786e6a68e20c18136/logrotate.c#L1394

missingok だから return 0 になっているだけだ。

それよりも lstat() が ENOENT になっているせいだということがわかる。
まあ、ENOENT は「ファイルやディレクトリがありません」だろう。
しかし %s しているファイル名と lstat() しているファイルは同じものだから実物の有無以外で ENOENT になっているはずだ。

 

ログの「switching euid to 0 and egid to 4」は、ユーザID を 0、グループID を 4にするということだろう。

https://github.com/logrotate/logrotate/blob/4c52ff5a1ddd0c34096824d786e6a68e20c18136/logrotate.c#L145-L146

conf で su を設定するとそれを使うということだろう。
未設定の場合は

id コマンドで調べると、0 は root、 4 は sync だった。
ならば、ログのファイルやディレクトリが ubuntu:ubuntu なので、logrotate が root:sync に切り替えるとアクセスできないので ENOENT になった、だろうか。

そういうわけで、 conf に「su ubuntu ubuntu」を追加して次のタイミングを待とう。


1時間経過。

はい、変わらず。
su を指定したのに「switching euid to 0 and egid to 4」ってのも変な話よね。
どこかもっと違うところで間違えている気もする。

 

が、せめて単独でコマンドを実行したときと同じ現象であれば調べる気力が湧くのだけど、試せるのが1時間に1回となると非常に効率が悪い。
まずはコマンドラインなどで同じことができるようにしよう。

先ほど /etc/systemd/system にコピーした logrotate.service をリネームして自分の名前にする(aaaa.service とか)。
ExecStart で logrotate の設定ファイルを /etc/logrotate.d/ においた自分の設定ファイルにする。
そして、

sudo systemctl start aaaa

これで、

journalctl -u aaaa

を見てみると、ほら、does not exist に!
これで検証できる。


さて、does not exist にはなったのだが、。

rotating pattern: /tmp/aaaa/aaaa.log  hourly (12 rotations)
empty log files are rotated, old logs are removed
switching euid to 1000 and egid to 1000
considering log /tmp/aaaa/aaaa.log
  log /tmp/aaaa/aaaa.log does not exist -- skipping
switching euid to 0 and egid to 0

そう、su を書いたのだからこうなってほしかったのだよ、さっきも。
それはそれで納得できないし、ここでは切り替えたにもかかわらず does not exist だし。

 

直接 logrotate コマンドを実行すると成功するので、そのログの違いから探っていこう。

rotating pattern: /tmp/aaaa/aaaa.log  hourly (12 rotations)
empty log files are rotated, old logs are removed
switching euid to 1000 and egid to 1000
considering log /tmp/aaaa/aaaa.log
  Now: 2022-04-17 06:43
  Last rotated at 2022-04-17 02:00
  log needs rotating

色を付けたメッセージは skipping の少しあとにある。
やっぱり lstat() をなんとかしないといかんという結論になる。

 

ちなみにまだ status ファイルに記述がない場合はこういうログになる。

considering log /tmp/aaaa/aaaa.log
Creating new state

そして /var/lib/logrotate/status ファイルに追加されて、実際のログファイルには変更無し。
続けて実行しても、何もならなかった(1時間経っていないからか)。

 

そもそも、コマンドラインで実行すると成功して systemctl だと失敗するというなら、service に原因を求めるのが筋だろう。

GitHub のサンプルはこうだった。

https://github.com/logrotate/logrotate/blob/master/examples/logrotate.service

そして Ubuntu の方は下の方がこうなっていた。

PrivateDevices=true
PrivateTmp=true
ProtectControlGroups=true
ProtectKernelModules=true
ProtectSystem=full
RestrictRealtime=true

自分で書くときには指定したことがないオプションだ。
そしてこれらをコメントアウトして systemctl start すると実行するではないか! ローテートされるじゃないか!

もうちょっと前に気付いてもよかったんじゃないかと思わなくもないが、まあよかろう。
私は未来を愛しているのだ。


では、これらのオプションが何かを調べる。
hardening options らしい。

https://www.freedesktop.org/software/systemd/man/systemd.exec.html

PrivateTmp

If true, sets up a new file system namespace for the executed processes and mounts private /tmp/ and /var/tmp/ directories inside it that are not shared by processes outside of the namespace. This is useful to secure access to temporary files of the process, but makes sharing between processes via /tmp/ or /var/tmp/ impossible. If true, all temporary files created by a service in these directories will be removed after the service is stopped. Defaults to false.

ああ、そういうことね・・・。
/tmp に mount してから実行するので /tmp 以下に置いていたファイルは not exist になるということか。

 

/tmp にログをおいたのは、出来心だった。
ちょうどログを出力する実装をしているときに見たサイトが /tmp の下に置いていたのでまねしただけ。
それがこんな悲劇を生もうとは・・・。

いや、私も /var/log とかに格好良く(?)ログファイルを置きたいのだけど、権限が通常ユーザだと足りないので /tmp はちょうど良かったのだ。
仮にログファイルを置くなら、まだユーザディレクトリの中の方がましだったようだ。

2022年4月16日

[linux]思ったより logrotate が難しい

現在進行形だ。

常時起動するアプリを作って、ログをファイルに保存するようにした。
アプリの起動時にログファイルを O_APPEND で開いて、あとはそこに書き込むだけである。

そうなると、起動している時間が長いとログファイルが肥大してしまって困ったことになるだろう。
直近の数日分だけあればよいのだが、アプリのログ出力をがんばる気力がない。

そういうときに使うのが logrotate コマンドだ。
そういうときじゃなくても、ログファイルを管理するのに便利だから覚えておきたいところだ。


logrotate 自体は単なるコマンドで、実行されたら設定ファイル置き場にある各アプリの設定ファイルに従ってログファイルを操作する。

誰かが実行しないと動かないので、そこは systemctl やら cron やらを使うようになっている。
Ubuntu 20.04 ではどちらにも仕掛けてあって、 systemctl のタイマーが動いているなら systemctl から、そうでなければ cron から実行するようになっている。

 

と、さも詳しげに書いているのだが、実はまだうまく動かせていない・・・。
直接 logrotate コマンドを動かすと自アプリのログファイルが整理されたのだが、自動に任せると何も行われていないのだ。


まず、 systemctl か cron かを見ていこう。

わかりやすいのは cron の方だと思う。
デフォルトのままなら /etc/cron.daily/logrotate にスクリプトがあるだろう。

$ cat /etc/cron.daily/logrotate 
#!/bin/sh

# skip in favour of systemd timer
if [ -d /run/systemd/system ]; then
    exit 0
fi

# this cronjob persists removals (but not purges)
if [ ! -x /usr/sbin/logrotate ]; then
    exit 0
fi

/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit $EXITVALUE

スクリプトの通り、cron で実行しない条件が2つある(青文字のところ)。

  • /run/systemd/system ディレクトリがある場合
  • /usr/sbin/logrotate という実行ファイルがない場合

手元の Lubuntu 20.04 はどちらも一致しないので、cron では動かないことになる。

 

では systemctl で動いてくれるのだろう。

$ systemctl list-timers logrotate
NEXT                        LEFT          LAST                        PASSED    UNIT            ACTIVATES       
Sun 2022-04-17 00:00:00 JST 2h 22min left Sat 2022-04-16 20:48:31 JST 48min ago logrotate.timer logrotate.service

1 timers listed.
Pass --all to see loaded but inactive timers, too.

改行されて見づらいが、これを書いているのが 2022-04-16 の 21時半くらいで、 list-timers の NEXT には 2022-04-17 となっているから、次回は明日の 0時に動いてくれるということなのだろう。
なので、タイマーとしては少なくとも動いていると考えて良かろう。

では、systemctl として logrotate が動いているのかどうか。

$ journalctl -u logrotate
...(略)...
Apr 10 00:00:14 あああ systemd[1]: Finished Rotate log files.
-- Reboot --
Apr 11 23:16:00 あああ systemd[1]: Starting Rotate log files...
Apr 11 23:16:01 あああ systemd[1]: logrotate.service: Succeeded.
Apr 11 23:16:01 あああ systemd[1]: Finished Rotate log files.
-- Reboot --
Apr 16 20:48:31 あああ systemd[1]: Starting Rotate log files...
Apr 16 20:48:32 あああ systemd[1]: logrotate.service: Succeeded.
Apr 16 20:48:32 あああ systemd[1]: Finished Rotate log files.

うーん、いま見ている Ubuntu は VirtualBox で動かしていて、あまり長い時間動作させないのだった。
よくわからんが、少なくともエラーにはなっていないので大丈夫じゃないかな。

ただ、起動時に動かしたことしかわからない。
そもそも動作する周期はどうなっているのか?

$ cat /etc/systemd/system/timers.target.wants/logrotate.timer 
[Unit]
Description=Daily rotation of log files
Documentation=man:logrotate(8) man:logrotate.conf(5)

[Timer]
OnCalendar=daily
AccuracySec=12h
Persistent=true

[Install]
WantedBy=timers.target

一日1回か。

しかしこの logrotate.timer にはコマンドも何もないので、service ファイルがあるのか。

$ find /etc/systemd/ -name "*logrotate*"
/etc/systemd/system/timers.target.wants/logrotate.timer

/etc/systemd にはないやん。

しかし /lib/systemd にはあった。

$ find /lib/systemd/ -name "*logrotate*"
/lib/systemd/system/logrotate.service
/lib/systemd/system/logrotate.timer

どうも、 /lib/systemd の方がオリジナルで、 /etc/systemd にもあればそちらが優先されるそうだ。

/usr/lib/systemd/system/と/etc/systemd/system/ - tsunokawaのはてなダイアリー
https://tsunokawa.hatenablog.com/entry/2018/10/05/013034

/lib/systemd の方は

ExecStart=/usr/sbin/logrotate /etc/logrotate.conf

となっていたので、systemctl としても logrotate は呼び出しているはずだ。


では、次は logrotate 自体を見ていこう。

/var/log には logrotate の付いたファイルがなかった。
その代わり、logrotate を実行したときの状態ファイルはあった。

$ ls -l /var/lib/logrotate/status
-rw-r--r-- 1 root root 1624 Apr 16 20:48 /var/lib/logrotate/status

たぶん VirtualBox を立ち上げたときの時刻だろう。 cat で見てもそのくらいの時間になっている項目がいくつかあった。

なので、systemctl から logrotate が実行されていないということはないと思う。
起動時だけ別ルートで呼び出すとかやっている可能性もなくはないが、あんまりそんなことはしないんじゃないかと思う。

 

うーん、 systemctl が起動したときには logrotate が動いている、 logrotate を単独で実行したときにはローテートが実行される、となると、 systemctl がタイマーのところで動いてくれていないということになるのか。


ならば再び systemctl に戻ろう。
timer はこの辺りだそうだ。

systemd/タイマー - ArchWiki
https://wiki.archlinux.jp/index.php/Systemd/%E3%82%BF%E3%82%A4%E3%83%9E%E3%83%BC

logrotate.timer で実行に関係がありそうなのはこの辺りか。

[Timer]
OnCalendar=daily
AccuracySec=12h
Persistent=truen

OnCalendar はカレンダーイベントに合わせて動作するための設定項目。
まあ、これは見たままだろう。

 

AccuracySec はこのページにないな。

systemd.timer(5) — Arch manual pages
https://man.archlinux.org/man/systemd.timer.5

"accuracy"は「正確さ」。
値のデフォルト値は 1分。

Within this time window, the expiry time will be placed at a host-specific, randomized, but stable position that is synchronized between all local timer units.

などと書いてあるので、その範囲内でランダムな時間で実行するということか?
デフォルトなら 1分以内ということだろう。
そしてここの設定なら・・・12時間以内??

なるほど、ログを処理するだけだからあせることはないということか。
システムが暇なときにやってくれれば良いよ、というところなのだろう。

そして私がログがローテートしないと思ったのも、OnCalendar を "hourly" にして daemon-reload し、時間になるまで待って比較的すぐに確認していたからだろう。

毎時実行なのに 12時間以内にやればいいよとなったら、いつ実行されるかわからんわな。

2022年3月27日

[RN] 自作証明書をクライアントで使いたい

Android で、aarで組み込んだライブラリの方で HTTPS サーバが起動していて、アプリはその HTTPS サーバに接続してリクエストするような作りになっているとしよう。
その HTTPS サーバは公開しないけど、なんかあったら嫌なので自分で作った証明書を使っている。
さて、そこにどうやってアクセスすると良いのだろうか?

 

最初は「JavaScript self signed」などで検索していたのだが、よく出てくるのが「reject unauthorizedオプションを無効にする」というやつだった。
どう見ても、認証を無視する設定だと思う。開発中はまだよいかもしれんが、今回はしょっちゅう証明書を作り直すわけでもないから認証する方で実装しておきたい。

ようやく出てきたのがこちら。

javascript - nodejs - error self signed certificate in certificate chain - Stack Overflow
https://stackoverflow.com/questions/45088006/nodejs-error-self-signed-certificate-in-certificate-chain

'ca' などというオプションがあるのね。
しかしこれ、 require で 'https' とかやってるし、React Native では使えない気がする。


そう、今回は React Native でやりたいのだ。
React Native は Node.js ではないので同じことができるとは限らない。

Networking · React Native
https://reactnative.dev/docs/network

fetch() は聞いたことがある。
Mozzila の MDN 参照と言うことは node-fetch ではなく標準な fetch() なのだろう。
ということはファイルシステムなんかは使えないと思う。

[Android]How to fetch() from https server with self-signed certificate · Issue #6995 · facebook/react-native
https://github.com/facebook/react-native/issues/6995

うーーーん・・・・・・・・・。

これは Native 側に実装して呼び出すようにした方が簡単だし確実そうだなぁ。

2022年3月23日

Lambda関数?

いろいろと耳を塞いで生きてきたと思う。
運が良ければスルーできるのだが、そうならない場合も多い。

Lambda関数はどうだろう?
まだわからないのだが、調べるに越したことはない気がしている。


まずはこちらから。

アロー関数 - TypeScript Deep Dive 日本語版
https://typescript-jp.gitbook.io/deep-dive/future-javascript/arrow-functions

アロー関数の説明で、「または」ということで Lambda関数という呼び名を紹介している。
アロー関数は私もしばしば使う。 function でも => でもどっちでもよいときはどうしたもんだか、と悩みはするものの、アロー関数じゃないとダメなところもたまにあるので、そんなに忌避しているわけではない。

this がどうのこうのは JavaScript の話だと思う。

となると、アロー関数が Lambda 関数とも呼ばれるような要素と言ったら「function と打つのが長い」しか当てはまらないと思うのだよ。

しかし、 Kotlin なんかは fun だし、Golang(に Lambda関数があるかは知らんが) は func だ。これを長いというのはちょっと無理があるだろう。
となると、変数に代入するような書き方ができるとかか?

 

検索すると AWS のも出てくるが、そちらで調べていくと今の知識だと間違えそうなのでやめておく。
あとは Excel と Python が出てきた。
よし、Python で見よう。

Pythonのlambdaって分かりやすい - Qiita
https://qiita.com/nagataaaas/items/531b1fc5ce42a791c7df

最初に「無名関数」と説明してある。
あれ、無名関数って別の呼び方をされてなかったっけ?
無名クラスか。 Java だったような気がするが、入れ子でクラスを書くときにそういうのが出てきたような。

hiro99ma blog: [android]Java8への思いやりを形に
https://hiro99ma.blogspot.com/2015/11/androidjava8.html

Android Studio が私が書いたコードを勝手に省略しようとするから腹が立ったという話だ。
このときもあんまりわからずに終わっているが、結局は見栄えだとか手軽とか、そこら辺が魅力ということなのだろうか。


もっと一般的な何かがあるはずだ。

language agnostic - What is a lambda (function)? - Stack Overflow
https://stackoverflow.com/questions/16501/what-is-a-lambda-function

一気に難しそうな話になってしまった・・・。
少なくとも、私の力で読み解くのは難しそうだ。

無名関数 - Wikipedia
https://ja.wikipedia.org/wiki/%E7%84%A1%E5%90%8D%E9%96%A2%E6%95%B0

ラムダ式・・・関数型言語・・・うぅ、頭が・・・。

 

しかし、JavaScript ってこんな書き方ができるんだ、と思っていた部分の一つが Lambda関数 / Lambda式 / 関数オブジェクト / 無名関数 と呼ばれるものの概念などを言語に落とし込んだ結果なのだろう。

なので、あまり難しく考えず、JavaScript のアロー関数など、と覚えておくことにしよう。どうせ正解はないのだ。

2022年3月21日

[win10] AutoHotKeyで複数ウィンドウを対象にする

ショートカットキーのアサインを自分の好きに設定したいことがある。
カスタマイズできるアプリであればよいのだが、できないアプリの方が多いだろう。

私は Windows10 を主に使っているので AutoHotkey を使っている。

AutoHotkey
https://www.autohotkey.com/

AutoHotkey の前は窓使いの憂鬱を使っていたと思うが、Windows7 くらいで開発が終わってしまったので乗り換えたような気がする。


AutoHotkey はいろいろできるのだが、私はキーアサインの変更でしか使っていない。

Hotkeys - Definition & Usage | AutoHotkey
https://www.autohotkey.com/docs/Hotkeys.htm

CapsLock を Ctrl として使っているのだが、それは AutoHotkey ではなくレジストリで変更するタイプにしている。
Ctrlキーとの組み合わせも登録できるならよかったのだが、さすがにできない。

「Change Key」非常駐型でフリーのキー配置変更ソフト - 窓の杜
https://forest.watch.impress.co.jp/library/software/changekey/

Ctrl2cap - Windows Sysinternals | Microsoft Docs
https://docs.microsoft.com/ja-jp/sysinternals/downloads/ctrl2cap

キーの入替は AutoHotkey でもできるのだが、レジストリで変更しているのでアプリがなくても有効だし、なにより「強い」感じがする。

Remapping Keys (Keyboard, Mouse and Joystick) | AutoHotkey
https://www.autohotkey.com/docs/misc/Remap.htm#registry

 

 

AutoHotkey でも PowerToys でもだったが、 Ctrlキーを押すタイプのアサインをしていると、そのアサインを長押しすると Ctrlが抜けて文字がそのまま打ち込まれてしまうことがある。

たとえば Ctrl + n にカーソル移動を割り当てていた場合、 Ctrl + n を長押ししているとときどき「n」がそのまま打ち込まれてしまうのだ。

カーソル移動のキーは長押しすることが多いのだが、テキストエディタでこれが発生すると非常に困る。 Android Studio のように自動保存するタイプだと気付かずに保存されてしまうこともあるし。
レジストリでの変更が「強い」と思うのはこういうのがないところだろう。

 

AutoHotkey のことを調べたが解決しなさそうなので、ソースコードの編集をするアプリ以外は AutoHotkey を通すようにしてみようと考えた。
まあ AutoHotkey がどうやって処理しているのかは知らないのだけど、スルー条件に一致したら何もせずにアプリにキーが通知されるのではないだろうか。そうならば、テキストエディタならキーアサインの変更はだいたいできるので、面倒ではあるがアプリ側で対応すればよいと思う。

そんなわけで、私がよく使っている EmEditor, Visual Studio Code, Android Studio 以外を処理するように書いてみた。

#InstallKeybdHook

SendMode Input

#If !WinActive("ahk_exe emeditor.exe") and !WinActive("ahk_exe studio64.exe") and !WinActive("ahk_exe Code.exe")
    ^f::Send,{right}
    ^b::Send,{left}
    ^n::Send,{down}
    ^p::Send,{up}
    ^h::Send,{backspace}
#If

sc029::Send,{Esc}
^+f::Send,^{f}
^+b::Send,^{b}

 

最初、普通の if 文で書いていたのだがうまく動かずに悩んでしまった。 Hotkey の方は #If 文を使うのだった。

Ctrl+F をカーソル移動に割り当てると、検索をどのキーに割り当てるのかで悩むので、私は Ctrl+Shift+F にしている。
新規作成は Explorer の方でやるから Ctrl+N は使ってよいし、印刷もしないから Ctrl+P もよい。
Ctrl+B は何かというと、Excel でフォントを Bold にするときだろう。

2022年3月12日

文字で図を描く

まとめ

  • GraphViz はすごい
  • ASCIIFlow もよいよね

 


おはなし

何を言っているんだか、というタイトルになってしまったが、開発ドキュメントのことだ。

私は比較的図を描くのが好きな方だと思う。
図にできないようであれば言葉でも説明できないだろう、と思っているのだろう。

かなりの場合で Excel を使っている。
Windows10 の「新規作成>Excel」でよく使う Excelテンプレートのファイルを作るように変更するくらいには使っている。
いまだに、Excel より使い勝手のよいツールを見つけられていないのだ。

計算もできる、図も描ける。
編集できるのが印刷単位ではないので広く使えるし、なんなら表だって作ることができる。
画像も貼り付けられるし、それでいてファイルサイズはあまり大きくならない。
OpenOffice 系のツールも、Word や Excel の代替としてはよいと思うのだが、図が描きにくいのだ。そういう意味では Web版の Excel は私に合わないかもしれない。

思い返すと、Excel より前に開発でよく使っていたのは Visio だった。
Visio といっても、Microsoft に買収される前だ。
これはよいね、と思って使っていたら Microsoft に買収されて、これはもっとよくなるかと思ったら・・・・、いかんいかん、昔のことは忘れよう。

ともかく、アプリの好き嫌いは個人でけっこう差があるし、マシンスペックによって受ける印象が全然違うこともあるしで、私の目線で話すことは全然客観的ではない、とだけ言わせてもらおう。

 

話を戻して。

履歴管理と画像ファイルの相性はそれほど良くない。
ファイルが変更されたことは分かるが、どの部分が変更されたかがわかりづらいためだ。

図を描くテキストファイルがあるなら、それを履歴管理すれば良いという考え方もある。
筆頭に上がるのは GraphViz だろうか。
なんなのだろうね、このツールは。

私が初めて GraphViz に関わったのは Doxygen だろうか。 Doxygen には class図みたいなものや C言語の include グラフのようなものを出力する機能があるのだ。
call グラフや caller グラフも出力するし、なんだこれは、と衝撃を受けた記憶がある。

PlantUML もそうだ。
あれも PlantUML の書式でファイルを作っていけばシーケンス図やクラス図などが出力できるのだが、最終的には GraphViz を使っているのではなかったか。
なんなんだ、あれは!

 

GraphVizギャラリーがあった。

https://graphviz.org/gallery/

なんかもう、グラフってなんだろう?と思ってしまうくらいにいろいろな出力があるな。
ともかく、文字列で描画を指示できるのであれば、履歴管理しても多少は差分がわかりやすいだろう。


GraphViz はよいとしよう。
それ以外にないだろうか?
つまり、書式では指示しづらいような図だ。

+--------+
|        |
| hiro99 +---+
|        |   |   +------+
+--------+   +--->      |
                 |  ma  |
                 |      |
                  +--+---+
  +--------+         ^
  |        |         |
  | kuma99 +---------+
  |        |
  +--------+

このような図で十分な場合、私は asciiflow legacy を使っている。
"Legacy" が付かない方もあるのだが、うまく使えなかったので legacy の方にしている。

これはいわゆるアスキーアートのような形で図を描いている。
表示が固定幅フォントなどでできるなら、まあそこそこ履歴管理しても相性は悪くないのではないかな。

[js] Uint8Array はオブジェクト

まとめ

  • React Native → Android へ Uint8Array を渡したいとしても、base64 でエンコードするのが無難そう

 


おはなし

前の記事で ArrayList<Byte> を ByteArray に変換する話をした。
しかし、その前の条件が間違えていた。
React Native から Uint8Array を Android に渡したのだが、Uint8Array はオブジェクトであって配列ではないということだ。

Error: Exception in HostFunction: Malformed calls from JS: field sizes are different.

こんな例外が発生したのだ。

たぶん number[] を渡せばうまくいくのだろうが、やりたいことはそうではない。
おそらく Uint8Array も Kotlin の ByteArray と同じように効率が良いオブジェクトなのだと思う。
それを for とかでぐるぐる回して number[] に入れて渡すなんてことはしたくないのだ。

 

そんなわけで Uint8Array を眺めている。

Uint8Array
https://developer.mozilla.org/ja/docs/Web/JavaScript/Reference/Global_Objects/Uint8Array

まず、 Uint8Array.toString() で文字列にして String.toByteArray() で戻してみた。
・・・ダメ。
toString() は中のデータを無理やり文字列として扱う、ではなく、中のデータを 1バイトずつコンマ区切りで出力する、というものだった。

toLocaleString() がたぶんそういうことをしてくれそうなのだけど、locale の指定をするということは何かしらの変換をバイト単位とかで行うということだと思う。
それだったら・・・それだったら base64 にしてやりとりするのが一番無難じゃないか!

base64 なら無理やりな変換ではなくバイナリ向きだし、文字列になるし、何も問題はない。
問題なのは、せっかくプリミティブ向けに型を作ってあるのに申し訳ないという気持ちだけだ。

 

というわけで、こうなりましたとさ。

JavaScript側 : base64String = Buffer.from(Uint8ArrayData).toString('base64')
Android側 : Base64.decode(base64String, Base64.DEFAULT)

[kotlin] Windowsでコンパイル

最近、話が長くなっていかん。
なので、先にまとめた内容を書いて、あとにだらだらと書き綴ろう。

 

まとめ

  • kotlinc を初回実行するときには結構な量のダウンロードが行われる
  • Kotlin の Array<E> は配列、ArrayList<E> は List<E> の仲間
  • ArrayList の初期値ありは arrayListOf() で作ればよい
  • ArrayList<Byte> を ByteArray に変換するには .toByteArray() を使えばよさそうだ

 


おはなし

 

Android で Kotlin の勉強しつつやっているのだが、勉強のために Android アプリを作るのはめんどくさい。
PC 上で動かせるようにしよう。

Kotlin command-line compiler | Kotlin
https://kotlinlang.org/docs/command-line.html

GitHub から一式をダウンロード(今の最新は 1.6.10) して、zip を展開。
あんまりファイルが大きくなくて良かった。

Hello World の ktファイルを作ってコンパイル。

>bin\kotlinc.bat test.kt

うわー、ダウンロードが始まった・・・。
しかも結構かかる・・・。

最終的に、 %USERPROFILE%.konan に 1GB くらいダウンロードされた。
JavaScript に対する TypeScript みたいな関係だと思っていたけど、Windowsネイティブなコードを吐くようにしているからだろうか?

まあいい。
深くは考えまい。

なお、コンパイルすると program.exe という実行ファイルができた。


初回だし、次回やるかも分からんので、気になっていることを調べて終わろう。
やりたいのは、Array<Byte> でもらったデータを ByteArray に変換したい、だ。

それぞれ違いはなんじゃ?と調べてみたのだが、

  • ArrayList<Byte> は Javaでいうところの Byte[]
  • ByteArray は Javaでいうところの byte[]

らしい。

java - Difference between ByteArray and Array<Byte> in kotlin - Stack Overflow
https://stackoverflow.com/questions/9457942/difference-between-bytearray-and-arraybyte-in-kotlin

もしかしたら ArrayList<Byte> かもしれんが、ともかくオブジェクトかプリミティブ型かの違いが大きいということだろう。
Kotlin は「[]」みたいな配列の作り方ではなく「Array<T>」のような形でしか書けないので、T がプリミティブ型だと効率が悪いだろうってことで ByteArray 型が別に用意されているんだと思う。

 

変換したい背景をもう少し話すと、React Native 側のデータが Uint8Array 型で、それを Android 側で処理することになった。
React Native と Android の型は異なるので、この型はこうなるというマッピングがある。

Argument Types
https://reactnative.dev/docs/native-modules-android#argument-types

JavaScript の Uint8Array は Array だろうから、Java だと ReadableArray というものになる。
ReadableArray は React Native で提供される型でこうなっている。

react-native/ReadableArray.java at main · facebook/react-native
https://github.com/facebook/react-native/blob/main/ReactAndroid/src/main/java/com/facebook/react/bridge/ReadableArray.java

この中で一番 ByteArray に近そうなのはこれだろう。

ArrayList<Object> toArrayList();

・・・と思ったのだが、ArrayList<Object> なので ArrayList<Byte> ではない。
これは as で変換できてほしい(願望)。

そして ArrayList<Byte> を ByteArray に変換したい、というところなのだ。
いや、それは正確ではないな。実際にやりたいのはファイル保存なのだ。 ByteArrayInputStream というクラスがあったので ByteArray に変換したいだけであって、InputStream になるなら ByteArray である必要はないし、ファイルに保存できるなら InputStream である必要もない。

ノウハウがないときは近道が分からないから困りますな。


Kotlin の ArrayList には toByteArray() というメソッドがある。
これでいいのかな?

toByteArray - Kotlin Programming Language
https://kotlinlang.org/api/latest/jvm/stdlib/kotlin.collections/to-byte-array.html

 

では、まず ArrayList を作ろう。
・・・書き方が分からん。
Kotlin は ArrayList<T> しかないと思っていたのだが、 Array<T> もあるのか。

Arrays
https://kotlinlang.org/docs/basic-types.html#arrays

Array なら arrayOf() で初期値が作れそうなのだが、 ArrayList は?
そもそも、 Array と ArrayList の違いは何なのか??

 

ArrayList はこんな感じなので、MutableList の仲間。

class ArrayList<E> : MutableList<E>, RandomAccess

class ArrayList<E> : MutableList<E>, RandomAccess, AbstractMutableList<E>

List を Array っぽく使えるようにしただけで、あまり Array と関係はないのだろう。
なので初期化も ArrayList のコンストラクタを使えばよかろう。

 

ArrayList のコンストラクタは 2つ。
空の ArrayList を作るか Collection<E> で初期値を持つか。
Collection に arrayListOf() という関数があるそうだ。

arrayListOf - Kotlin Programming Language
https://kotlinlang.org/api/latest/jvm/stdlib/kotlin.collections/array-list-of.html

いやー、これは ArrayList の方にもリンクを貼っておいてほしいよ。わからんよ、探したよ。
全体的に~Of() という関数は ~型 の new関数みたいに作ってあるように見える。

 

01: fun main() {
02:     // val va: ArrayList<Byte> = arrayListOf(1, 2, 3, 253, 254, 255)
03:     val va: ArrayList<Byte> = arrayListOf(1, 2, 3, -3, -2, -1)
04:     val v8: ByteArray = va.toByteArray()
05:     for (v in v8) {
06:         println(v)
07:     }
08: }

>.\program
1
2
3
-3
-2
-1

Java と同じく Byte 型は int8 の範囲なので 128~255 はダメだった。
まあ、問題はそれだけだ。

[win10]音量のデフォルト値は100

最近、ワイヤレスのヘッドセットを購入した。
Windows10 で Bluetooth 接続して音を鳴らすと、音量が 100 になっていて非常にビックリした。

まあ、下げれば良いだけなのだが、デフォルト値が 100% というところが困ったものだと思う。
そしてデバイスごとに値を覚えているので、いまの音量と同じになるつもりでデバイスを切り替えると 100 だった、ということがある。

例えば、これは今の私の PC の状況だ。

image

ワイヤレスのヘッドセットをつないだので一番上の「ヘッドホン」が選択されている。
これがさっきは音量 100 だったので、今は 27 に変更している。

さて、ここで zoom や Google Meet を始めたいとしましょう。
ここでは Meet で話を進める。
今回はマイクも使いたいから、Meet の設定画面でマイクのデバイスを設定しよう。
スピーカーとマイクが別のデバイスだと警告が出るので、じゃあスピーカーも同じものを選びましょう。

image

警告が消えた。

image

で、ここでスピーカーのテストをすると大音量になってビックリする、というわけだ。
Windows の方でハンズフリーの方の音量を確認するとこうなっていた。

image

そう、別デバイスとして判断されるので、ヘッドホンのほうで設定した音量とは別になっており、デフォルト値の 100 が使われているのだ。

 

このデフォルト値を変更できれば良いのだけど、探しても見つからんかった。

なので今できるのは、新しいデバイスをつないだらとにかく全部の音量を見直す、ということくらいだ。