ラベル docker の投稿を表示しています。 すべての投稿を表示
ラベル docker の投稿を表示しています。 すべての投稿を表示

2023年8月5日

"docker builder prune"で/var/lib/docker/の削減をした

私は Widows11 上で VirtualBox を動かし、ゲストOS で Ubuntu を動かしている。
クラウド上で動かすときは 30GB でなんとかなっているからとのんびりしていたのだが、あれよあれよと容量が膨らんで / と /home をそれぞれ 180GB くらい確保する羽目になってしまった。

/home は自分でファイルを置いているから増えたり減ったりも制御しやすいのだが、 / の方はアプリのインストールとかやっているとじわじわ圧迫されてしまう。
さっき見ると空き容量が 2% くらいになっているのに気付いた。

Ubuntu にインストールされていた Disk Usage Analyzer で見てみたが、そこに出ている範囲では大して使われていない。ということはあまり触りたくないディレクトリがふくれているようだ。
du で見ていくと /var 、中でも /var/lib/docker が大半の容量を占めていることに気付く。

/var/lib/docker/overlay2の容量が大きいので削減したい - 日々精進
https://anton0825.hatenablog.com/entry/2022/08/11/000000

あー、docker か。
しばしば docker rmi でイメージをまるまる削除しているので安心していたのだが、それでいいというわけではないのか。

$ docker builder prune

これで Y とこたえるとずらーっと削除してくれた。135GB くらい削除してくれたようだ。
やれやれ。

 

no space は忘れた頃にやってくるので、次もたぶん忘れてるんだろうな。

2023年1月22日

Linuxでcompose upできたからといってMacでできるとは限らない

お仕事で Dockerfile や docker-compose.yml を書いていた。

自分の環境(Ubuntu 20.04)・・・OK。
Github Actions・・・OK。

ということでレビューしてもらったのだが、Mac の人がコンテナが立ち上がらなかった、ということがあった。

 

まずは落ち着くことだ。
しばしばあることなので、慌てないで良い。

 

docker の管理内で収まる範囲なら、そういうことはあまりない。
今まで見てきた中でそういうことが起きるのは、

  • イメージを作ってコンテナを実行させる過程のどこか
  • 永続化するためにファイルシステムをホスト側とつなげているどこか

が多かった。

今回は、Dockerfile で RUN してディレクトリやファイルの操作をしつつ、compose.yml の方でも volumes や entrypont を書いていて、Dockerfile でやった内容が volumes でマウントしたことで見えなくなった、みたいな感じだった。
そういう順番的なもので Linux と Mac の違いが出てくるとは思わなかったが、ドキュメントを探してもどれがどの順番で処理されるかの記述は見つけられなかった。


あとはありがちなのが、Permission denied だ。
未だに悩まされる。
ユーザ権限で動作する docker も experimental で出ているようだが、うまく動かない Dockerfile/compose.yml があったので使うのはやめておいた。というより、他の人が普通の docker を使っていたら混乱するので、全員合わせない限りはまだ使わないだろう。

Permission denied でどうするのがよいかよくわからんが、ユーザ指定はするようにした。
何も指定しないと root で動作するので、コンテナからしか書き込まないのであれば問題ないと思うが、ホスト側で作ったファイルを読もうとすると面倒なことになる。あと、ホスト側からそのファイルを見たいときに sudo しないといけないのが地味に嫌だったりもする。

わかりにくいのが、イメージ側が持っているユーザID とホスト側のユーザIDが一致しないときだ。
Linux で最初にアカウントを作るとだいたい 1000 から始まって、それから 1001, 1002 とユーザが追加されるごとにインクリメントされる。
ホスト側が 1001 のユーザでイメージが 1000 だった場合も権限が違うので Permission denied になるだろう。

なので面倒だが id -u や id -g で与えるようにしている。
これをうまいことやってくれるのがユーザ権限で動作する docker かもしれんが、よく知らん。

2023年1月9日

[docker] いろいろ止めて削除したいとき

docker で遊んでいると、コンテナがたくさんできていたりイメージができていたりして、全部忘れたいことがある。

docker stop `docker ps -qa` && docker rm `docker ps -qa`
docker rmi `docker images -qa`
docker volume rm `docker volume ls -q`
docker network rm `docker network ls -q`

1行目でコンテナを止めて削除。
2行目でイメージを削除。
3行目でストレージを削除。
4行目でネットワークを削除。

イメージは --force で強制しないといけないことがあるのかもしれんが、よくわからん。

それぞれ .bashrc などで alias にしておくと楽かもしれんね。

Dockerfile に USER がないときに docker run -u を指定した場合

docker run -u の説明では Dockerfile の USER を上書きすると言うことだったが、では Dockerfile に USER がなかったらどうなるかが気になった。
まあ、予想は付くが・・・。

$ docker run -v "$PWD/hello_dir:/data" -u 1002:1002  hello-test
[abc]: Hello, Docker!?
[abc]: ReadMe!

$ ls -l hello_dir/abc/
total 8
-rw-rw-r-- 1 hirokuma hirokuma  8 Jan  8 21:48 read.txt
-rw-r--r-- 1 hirokuma hirokuma 15 Jan  9 17:54 test.txt
$

まあ、そうよね。

  • Dockefile に USER の記述がない場合は「USER root:root」である。
  • docker run -u は USER を上書きする。

とするか、

  • docker run -u はユーザ切替を行う(Dockefile の USER よりも優先される)

のような書き方が良いのかね。

そう考えると、カレントユーザになるかならないかはっきりしない USER 指定よりも、何も書かずに root になる方が気付きやすいかもしれない。下手にカレントユーザの UID と Dockefile の USER で指定したユーザの UID が一致すると、うまくいく環境といかない環境が出てきて、何が原因かが分かりづらい気がするのだ。 root になっていると「ああ root だったらダメよね」と気付きやすい。

実に悩ましい話だ。

docker の permission denied (2)

docker で Permission denied が発生することがあるのはわかったけどよくわからんという記事を書いた。

hiro99ma blog: docker composeのvolumesでpermission deniedになったりならなかったりする
https://hiro99ma.blogspot.com/2023/01/docker-composevolumespermission-denied.html

そしてファイルの削除については ファイルの権限よりも属しているディレクトリの権限の方が強そうだという記事も書いた。

hiro99ma blog: root権限のファイルもuserが削除できるのか
https://hiro99ma.blogspot.com/2023/01/rootuser.html

そのとき確認した dockertest1 は docker-compose.yml で ./hello_dir/ を volumes で指定している。
docker compose up の実行前に hello_dir ディレクトリを作成していなかった場合、実行すると root.root で作成された。中のファイルも root.root である。
user 権限で hello_dir ディレクトリを作成(0755)していた場合も、特に問題なく中に root.root のファイルが作成される。
ディレクトリを user 権限かつ chmod 0000 にしていた場合も、問題なく root.root のファイルが作成されていた。
ディレクトリを 123.123 という適当な権限かつ chmod 0000 までしたが、それでも docker compose するとファイルが作成された。

 

今までのルールが通用しないのですが、なんなんだ docker ??


冷静になろう。
前回も user で rm をしてはいるが、それまでの設定は sudo などして root 権限で行っている。
つまり root 権限があればだいたいのことはできてしまうと思っていて良いだろう。

それに、そもそも私が docker で体験した Permission denied は書込みだったんだろうか?
なんとなくだが、作成していたテストデータを読み込めなかったとかだったような気がしてきた。

read も追加した dockertest1 を作った。
Dockerfile でコメントアウトしていた node ユーザに切り替えるところを有効にして、index.js でファイルを読むようにした。
docker compose build で作り直して docker compose up する。

$ docker compose up
[+] Running 1/1
 ⠿ Container docker-hello-1  Recreated                                                                   0.3s
Attaching to docker-hello-1
docker-hello-1  | [abc]: Hello, Docker!?
docker-hello-1  | [abc]: ReadMe!
docker-hello-1  |
docker-hello-1  | node:internal/fs/utils:344
docker-hello-1  |     throw err;
docker-hello-1  |     ^
docker-hello-1  |
docker-hello-1  | Error: EACCES: permission denied, open '/data/abc/test.txt'
docker-hello-1  |     at Object.openSync (node:fs:585:3)
docker-hello-1  |     at Object.writeFileSync (node:fs:2155:35)
docker-hello-1  |     at Object.<anonymous> (/usr/src/app/index.js:8:4)
docker-hello-1  |     at Module._compile (node:internal/modules/cjs/loader:1103:14)
docker-hello-1  |     at Object.Module._extensions..js (node:internal/modules/cjs/loader:1155:10)
docker-hello-1  |     at Module.load (node:internal/modules/cjs/loader:981:32)
docker-hello-1  |     at Function.Module._load (node:internal/modules/cjs/loader:822:12)
docker-hello-1  |     at Function.executeUserEntryPoint [as runMain] (node:internal/modules/run_main:77:12)
docker-hello-1  |     at node:internal/main/run_main_module:17:47 {
docker-hello-1  |   errno: -13,
docker-hello-1  |   syscall: 'open',
docker-hello-1  |   code: 'EACCES',
docker-hello-1  |   path: '/data/abc/test.txt'
docker-hello-1  | }
docker-hello-1 exited with code 1

うーん、読み込むファイル read.txt を置くためにディレクトリをあらかじめ作成していて、その権限がローカルユーザ(`id -u` == 1002 だった)になっていたので node ユーザでは書込みできなかったというところだろうか。

 

そもそも node ユーザってどういうユーザなのだ?
「node:16.14.0-alpine3.14」であらかじめ準備されているユーザだと思うのだが(ちなみに vscode の dockerエクステンションを使うと node:lts-alpine だった)。
まあ alpine を使わずにもっと普通のディストリビューションを使えばいいやんという気もするが、組み込み Linux をやっていたので busybox は嫌いではないのだ。昔は newlibc とか使っていたような気がするけど今はどうなんだろうね。

addgroup しているのは 1000。
Linux をインストールして最初にユーザを作るとだいたい 1000 から始まるので、ローカルユーザがそういうアカウントであれば EACCES エラーにならなかったかもしれない。

この、アカウントというか id というかで変わってくるというのがやっかいなところだと思う。
Dockerfile でユーザを切り替えたとしても、今回で言えば git clone したユーザの id を使うようにしないと書き込みはできないだろう。

ちなみにこれが vscode のエクステンションを使って作ったデフォルトの Dockerfile だ。

FROM node:lts-alpine
ENV NODE_ENV=production
WORKDIR /usr/src/app
COPY ["package.json", "package-lock.json*", "npm-shrinkwrap.json*", "./"]
RUN npm install --production --silent && mv node_modules ../
COPY . .
EXPOSE 3000
RUN chown -R node /usr/src/app
USER node
CMD ["npm", "start"]

node というユーザがある前提で chown したり USER で切り替えたりしている。
USER は docker run のオプション -u で上書きできるそうなので、それを使えばローカルユーザの id を使うことができると思う。あくまで USER はデフォルトのユーザを定義するだけらしい。

コンテナ起動時に -u オプションを使うと USER 命令を上書きできます。

ただ、USER を使っていない Dockerfile だとどうなるのだろう?
↑だと chown までが 1000 で行われて、USER のところだけ置き換えられる?? それだと意味が無いよなぁ。
でも chown コマンドがあるからそこで指定されたユーザも -u で置き換えて上げよう、と考えるのは難しいと思う。

Dockerfile を書くベスト・プラクティス — Docker-docs-ja 17.06.Beta ドキュメント
https://docs.docker.jp/engine/userguide/eng-image/dockerfile_best-practice.html#user

イメージ内で得られるユーザとグループは UID/GID に依存しないため、イメージの構築に関係なく次の UID/GID が割り当てられます。そのため、これが問題になるのであれば、UID/GID を明確に割り当ててください。

ここでいう UID/GID はコマンドを実行しているローカルユーザの id -u や id -g のことを指しているのだろう。

docker のバージョンが上がると説明が追加されていた。

Dockerfile のベストプラクティス — Docker-docs-ja 1.9.0b ドキュメント
https://docs.docker.jp/engine/articles/dockerfile_best-practice.html#user

サービスは特権ユーザで実行せずに、 USER を使えば非 root ユーザで実行できます。利用するには Dockerfile でユーザとグループを RUN groupadd -r postgres && useradd -r -g postgres postgres のように作成します。

記述はなくなっていても -u 自体はなくなってないと思うのだ。
どうなってるのだろうね?
日本語版が古い可能性もあるので、英語版も確認したが同じようだ。

Docker run reference | Docker Documentation
https://docs.docker.com/engine/reference/run/#user

  • デフォルトユーザは root (id = 0)
  • Dockerfile の USER でデフォルトユーザを指定することができる
  • docker run の -u(--user) オプションで USER を上書きできる

 

dockertest1 - tag:test2 で試そう。

docker compose を使わず、docker run を -u 無しで実行すると、これは↑と同じく EACCES エラーになる(カレントユーザの id -u が 1002 なので)。

$ docker build -t hello-test .
$ docker run -v "$PWD/hello_dir:/data" -it hello-test

-u でカレントユーザの UID:GID を指定するとエラーにならなかった。

$ docker run -u "`id -u`:`id -g`" -v "$PWD/hello_dir:/data" -it hello-test

これは Dockerfile の USER node がカレントユーザの UID/GID を使うようになったのだろうか?

image

/bin/sh でログインして確認すると、COPY したファイルや hello_dir/abc/* も含めて node.root になっていた。
whoami で 1002 と出ているから、alpine の node ユーザで動いているわけでもないようだ。

$ docker run -u "`id -u`:`id -g`" -v "$PWD/hello_dir:/data" -it hello-test /bin/sh
/usr/src/app $ ls -l
total 16
drwxrwxr-x    1 node     root          4096 Jan  8 10:35 hello_dir
-rw-r--r--    1 node     root           259 Jan  8 12:48 index.js
-rw-r--r--    1 node     root          1414 Jan  5 12:28 package-lock.json
-rw-r--r--    1 node     root           278 Jan  5 13:51 package.json
$ id -u
1002
$ id -g
1002
$ whoami
whoami: unknown uid 1002

となると、chown した node はそのまま nodeユーザのアカウントで実行され、その次の USER が docker run -u で上書きされたと考えてよさそうだ。

が・・・ hello_dir/abc/test.txt は node.root で生成されているのだ。 USER が上書きされているのであれば 1002.1002 になっているのではないだろうか?

USER の説明を見てみると current stage という説明がある。

The USER instruction sets the user name (or UID) and optionally the user group (or GID) to use as the default user and group for the remainder of the current stage.

ステージはビルドステージのことのようで FROM から始まるようだ。ということは・・・USER を書く位置はあまり関係ない?
だいたい、イメージのビルドとコンテナの実行への指示が同じ Dockerfile に書かれているのがわかりづらいと思うのだ。

Understand how CMD and ENTRYPOINT interact
https://docs.docker.com/engine/reference/builder/#understand-how-cmd-and-entrypoint-interact

  • CMD か ENTRYPOINT はどちらかは少なくとも必要。
  • コンテナを「実行可能」として定義するなら ENTRYPOINT が必要。
  • CMD は ENTRYPOINT のデフォルト引数

両方書くと ENTRYPOINT を並べた最後に CMD で書いたものが追加される。
ENTRYPOINT がない場合も同様だが、そのときは CMD が ENTRYPOINT の引数と等しくなるので CMD の内容が実行されたかのように見えるだろう。

  • ENTRYPOINT も CMD も、
    • 配列形式: シェル無しでそのまま実行される(たぶん exec系のシステムコールにそのまま渡される)
    • 単独形式: /bin/sh -c の引数になる
  • ENTRYPOINT が配列、CMD が配列
    • ENTRYPOINT 配列 + CMD 配列が実行される
  • ENTRYPOINT が配列、CMD が単独
    • ENTRYPOINT 配列 + /bin/sh -c CMD が実行される
  • ENTRYPOINT が単独、CMD が配列
    • /bin/sh -c ENTRYPOINT + CMD配列 が実行される
  • ENTRYPOINT が単独、CMD が単独
    • /bin/sh -c ENTRYPOINT + CMD が実行される

わかりづらい・・・。特に ENTRYPOINT が配列で CMD が単独の場合は後者に /bin/sh が付くので混乱しそうだ。
CMD は実行用というよりも ENTRYPOINT の引数として使った方がわかりやすいようにも思うが、名前が CMD だけにコマンドを書きたくなるな。

FROM で使った image の中に CMD が既に入っていた場合、image の中で使われていた CMD は空になるそうだ。
なので、FROM で使われる前提の image であれば ENTRYPOINT は環境を作るのに専念して(node では docker-entrypoint.sh を実行するようになっていた)、CMD はどうでもよい

そして CMD は別の引数で上書きされる(overridden when running the container with alternative arguments)というのは?
これは docker run しかあるまい。

Docker run リファレンス — Docker-docs-ja 20.10 ドキュメント
https://docs.docker.jp/engine/reference/run.html#dockerfile

以下が上書き可能なようだ。

  • CMD
  • ENTRYPOINT
  • EXPOSE
  • ENV
  • HEALTHCHECK
  • VOLUME
  • USER
  • WORKDIR

CMD の置き換えは、docker run の一番最後に付けるコマンドがそれに当たるらしい。
いつも実行中のコンテナにログインするときに /bin/sh を付けている。

フォアグラウンド
https://docs.docker.jp/engine/reference/run.html#id36

あまり気にしていなかったが、このときも ENTRYPOINT も実行されているのだろうか? あるいは ENTRYPOINT という名前の通り、ENTRY し終わったコンテナの場合には実行されないのだろうか。

ENTRYPOINT
https://docs.docker.com/engine/reference/builder/#entrypoint

dockertest1 の CMD を ENTRYPOINT に置き換えると、docker run ... /bin/sh としてもログインできずに ENTRYPOINT の中身が実行された。CMD のままだと /bin/sh でログインできる。

 

いかん、脱線しすぎた。
ともかく 1つの FROM に対して USER は 1つだけで、順番はあまり関係ないというか、ENTRYPOINT か CMD にしか影響を及ぼさないのだろう。docker run -u による上書きがマルチステージの Dockerfile だとどうなのかわからないが、最後のステージにしか影響しないんじゃないだろうか。

それと、docker compose の user は Dockerfile の上書きになるそうだ。つまり立ち位置としては docker run -u と同じということだろう。まあ、docker compose を使うと docker run -u は使えないからその代わりだと認識しておけば良いか。

https://docs.docker.jp/compose/compose-file/index.html#user

処理を root 権限のまま実行するというのはあまりやらないことだと思うので、Dockerfile には USER を書いておくのがよいと思う。

2023年1月6日

docker composeのvolumesでpermission deniedになったりならなかったりする

Aしたりしなかったりする、という報告は多い。
つまり、毎回起きるわけではないというわけだ。
もちろん、バグで無いこともある。ただ、毎回同じ動作をしないので訳がわからんとか。

もう1つ気にしないといけないのは、頻度の表現方法についての個人差や状況の差だ。
例えばプロジェクトのお仕事をしていて「起きたり起きなかったり」という話をすると、だいたいは何か特定のことを行った場合だと思う。
そうではなく、何かの勉強中だったとすると、練習で同じようなことをやっているのだけれども結果が安定しない、ということがあるかもしれない。

 

何が言いたいかというと、docker compose の勉強をしていたけれども、volumes で永続化させようとしていただけなのに permission denied になって書き込めない環境があった、という話だ。

お仕事で permission denied になる環境があったので、それを最低限の構成にして状況を探っていこうと思い自作したのだけれども現象が起きなかった、というわけだ。


作ったのは、これ。

https://github.com/hirokuma/dockertest1

私は Dockerfile などの自作にまったく自信がないので、vscode の Dockerプラグインに作ってもらった。
再現はできなかったけど。
permission denied ということは chmod とか USER とかそういうところかと思ってコメントアウトしたのだが、ホスト環境から見ると root 権限で書き込まれてはいるものの動作に問題は無い。

なんだろうねぇ。

2022年2月20日

docker いろいろ消したい

訳がわからなくなったり、全部無かったことにしたかったり、空き容量が足りなくて削除したくなったり、そんな気分になることがあると思う。

docker rm `docker ps -qa`
docker rmi `docker images -qa`
docker network rm `docker network ls -q`
docker volume rm `docker volume ls -q`

このくらいやれば、だいたい消えるんじゃなかろうか。

 

これは関係ないが、docker ps は横に長く出過ぎて見づらいことがある。
私のところでは Images のところが長いことが多いので、 --format で Images などを出さない docker ps を登録した。

docker ps --format "table {{.ID}}\t{{.Names}}\t{{.Status}}\t{{.Command}}\t{{.Ports}}"

これで「CONTAINER ID, NAMES, STATUS, COMMAND, PORTS」だけになる。

2021年10月31日

docker再びの再び (5)

docker のネットワークについて勉強中。
前回はドライバの bridge で、今回は host だ。

Networking using the host network | Docker Documentation
https://docs.docker.com/network/network-tutorial-host/


ホストとコンテナの分離を削除する、という表現で混乱したのだが、ホストからコンテナのネットワークにアクセスできるということだと思っている。
アクセスだけなら ping でもできていたのだが、ここではもっとアプリ層に近いところだ。

チュートリアルでは nginx (えんじんえっくす、と読むのを知ったのはずいぶん最近のことだ)のコンテナを立ち上げて、ホスト側のブラウザで 80番ポート(デフォルトの http)にアクセスしている。

この手順では、ポート番号が出てきていないのだが、コンテナの外からホスト環境で nginx が立ち上がっているかのようにアクセスできるのだ。私の場合、Windows10 から VirtualBox で Lubuntu をゲストOS として起動し、ゲストOS 上で docker を立ち上げているのだが、Windows10 側から Lubuntu の IPアドレスをブラウザで指定してもアクセスできる。
実体はコンテナ側で動いているので、ポート番号だけ間借りしているというか転送しているというか、そんな感じなのか。


さて、 デフォルトの bridge を使うと他のコンテナやホストの間で通信ができ、ユーザ定義の bridge を使うと特定のコンテナの間で通信ができた。 1つのコンテナが デフォルトとユーザ定義の bridge の両方に接続?することができるので、そうするとどっちにもアクセスできた。

じゃあ、host とか使わずにデフォルトの bridge を使ってもいいんじゃ無いかと思ったのだが、これだと ss -nat | grep :80 などとしても 80番ポートが見当たらない。
docker ps で見ると PORTS に 80/tcp と出てくるので、80番ポートが使われているのは間違いないだろう。
しかし、 host を使った場合に docker ps で見ても PORTS には何も出てこない。

 

これだけだと bridge の意味がよくわからんのだが。。。
と思ったら、ブラウザでコンテナの IPアドレスにアクセスすると ss コマンドで現れた。 Listen していないのにアクセスできる・・・?
いや 80番ポートで Listenしているわけではないというだけかもしれない。
ss -l | grep docker とすると6つくらい出てきたので、今はそういうことにしておこう。


私の今のイメージでは、bridge と host はこんな感じだ。
丸いのがコンテナね。

image

  • bridge に名前を付けて作成すると、それと接続しているコンテナ間で LANを形成できる。
  • コンテナは複数の bridge に接続できる
  • host を指定するとホスト環境のネットワークとして見える

bridge と host も同時にできるかと思ったが、それはエラーになった。

bridge接続済みのコンテナを host につなごうとしたとき
container cannot be disconnected from host network or connected to host network

host接続済みのコンテナを bridge につなごうとしたとき
container sharing network namespace with another container or host cannot be connected to any other network

ホストのネットワークなら bridge のコンテナ内からでもアクセスできるので必要ないのだろう。

Connect a container to a user-defined bridge
https://docs.docker.com/network/bridge/#connect-a-container-to-a-user-defined-bridge

--publish を使うことで特定のポートをホスト側に見せることができる。だから host を使わなくてもよいというか、なるべく bridge を使って公開するポートを限定した方が不安が少ないと思う。


他にもいろいろあるだろうが、テスト環境を作るのであればこのくらいの知識でなんとかなるんじゃなかろうか。

2021年10月30日

docker再びの再び (4)

4回もやっていると何でこんなタイトルだったのか忘れてしまいそうになるが、今回で dockerを勉強するのが3回目になるからだった。


今回はネットワークについて。

Docker コンテナ・ネットワークの理解 — Docker-docs-ja 19.03 ドキュメント
http://docs.docker.jp/engine/userguide/networking/dockernetworks.html

日本語だ。
多少情報が古いかもしれないが、基本的なことは変わってないんじゃなかろうか。まあ、後で調べよう。

 

ifconfig で見えるのは docker0 だけだが、docker コマンドでは書いてあるように 3つ見える。

$ docker network ls
NETWORK ID     NAME      DRIVER    SCOPE
cc02564a80e1   bridge    bridge    local
4dee0c98d161   host      host      local
51c798d9077c   none      null      local

うーん、少し読んだけどさっぱりわからんよ。
もっと概要から説明してほしいのだが。

Networking overview | Docker Documentation
https://docs.docker.com/network/

Dockerのnetworkingサブシステムは、driver を使って追加/削除できる(プラグイン方式)らしい。
デフォルトで存在したりコアネットワークとして提供されているドライバはこれら。

  • bridge
  • host
  • overlay
  • macvlan
  • none

さっきの network ls で出てきたものでも DRIVER として表示されているな。

 

bridge

これがデフォルトのネットワークdriver。
固有名詞じゃなさそうだから「ドライバ」でよいのかな。
どういう意味でデフォルトかというと、普通はこれが使われる、というデフォルトのようだ。そりゃそうだろうと言われそうだが「デフォルトで付属している(けどあまり使われない)」みたいなこともあるので気にしたのだ。

名前からすると、docker コンテナ内のネットワークとリアル環境のネットワークを橋渡ししてくれるのだろうか。
なんというか、そうだったら bridge 以外はいらないような気がするのだが、他は何をするんだろう?

 

host

   うーん?

For standalone containers, remove network isolation between the container and the Docker host, and use the host’s networking directly.
スタンドアロンコンテナの場合、コンテナとDockerホスト間のネットワーク分離を削除し、ホストのネットワークを直接使用します。

通常はコンテナとホストが分離されているけど、それを削除するということは、分離しなくなるということか?

 

overlay

複数の docker daemonをそれぞれ接続し、 swarm service?がそれぞれ通信できるようにする もの らしい。
うん、よくわからん。

1台の PCでは、docker daemonは 1つ動いているということになるんだろうか。
bridge と host では「standalone containers」と書いてあったのだが、それぞれのコンテナで docker daemonが 1つ動いているという扱いにするのなら、これがコンテナ間を直接つないでくれるのかもしれん。
swarm というのは知らん。後回し。

 

macvlan

MacOS 専用のドライバかと思ったが、MACアドレスの方を表しているようだ。
MACアドレスをコンテナに割り当てることができるらしい。ということはマシン外とアクセスするときに使えるということだろうか。それに MACアドレスということなら物理層とか下の方の階層になるはずなので他のドライバと併用できるとかだろうか。

まあ、用途として特殊になりそうだから後回しでいいかな。

 

none

host が外部と接続しないようにするドライバだったが、 none はネットワーク接続をしないというドライバらしい。
ネットワークドライバなのにネットワークに接続しないとは、なんか面白いものだ。

カスタムネットワークドライバと一緒に使うのが普通らしい。
よくわからんが、後回しで良い気がする。ただ、初期設定で動作しているのでよく使うものなのかも。

 

 

説明の中で「standalone containers」という言葉がしばしば出てくる。
スタンドアローンなのにコンテナは複数形なのだ。だから、スタンドアローンのコンテナが複数あって、それを bridge とかで接続するとか、それぞれが host とかで自分の中だけで運用するとか、そういう話なんじゃなかろうか。

あと、「swarm service」という言葉も出てくる。

【swarm】
群れ、群衆。群がる。

swarm mode というページがある。

Current versions of Docker include swarm mode for natively managing a cluster of Docker Engines called a swarm.
Dockerの現在のバージョンには、スウォームと呼ばれるDockerエンジンのクラスターをネイティブに管理するためのスウォームモードが含まれています。

クーベネイティス、だったか、複数のコンテナを使ったシステムをうまいこと立ち上げるのがあったと思うが、それで使うのだろうか? わからんことは後回しだ。


Networking with standalone containers | Docker Documentation
https://docs.docker.com/network/network-tutorial-standalone/

bridge ドライバがデフォルトだとあるが、ここでは「デフォルト bridge ネットワーク」と「ユーザ定義 bridge ネットワーク」の2つが書かれている。ドライバとは書いていないので別の話なのか。
デフォルトの bridge ネットワークは製品版には推奨しないそうだ。

このチュートリアルではどちらも見せてくれるそうなので、やってみるのが良かろう。

 

まず、デフォルトの方。
特に何か特別なことをするわけでもなく、コンテナを2つ立ち上げると IPアドレスがそれぞれホストとは異なるプライベートアドレスが割り当てられた(ホストは 192.168.0.0 だが、コンテナは 172.17.0.0 だった)。
そのコンテナの中からグローバルなIPアドレスにアクセスできるし、相手のコンテナにもアクセスできる。

そういえばホストにもアクセスできるのかは確認していなかった。
docker stop でコンテナを終わらせた状態なのだが「再開」はできるのだろうか? チュートリアルと同じ docker run のコマンドを打ち込んでも名前が既にあるとエラーになった。
コンテナを削除すれば良いそうだが、単に再開させるだけなら docker start でよいようだ。

で、コンテナの中からホストに向けて ping しても成功したし、ホストからコンテナに向けて ping しても成功した。
私の記憶では、ネットワークのことをやるのにポート番号をどうのこうの設定していた気がするのだが... まあ ping だからポート番号は関係ないというだけで、後から出てくるのか。
わからん。

 

次はユーザ定義の方。
docker network create で bridge をベースにして(?)新たなドライバを作っているのか。
この方式だと、ping 先としてコンテナ名を使うことができる(bridge の場合は IPアドレスだけだった)。

デフォルトがなんで製品に向かないかというと、コンテナを立ち上げてしまうだけでネットワークにアクセスできてしまうからだと思う。他にも理由はあるとは思うが、システムごとに network create して作るのが無難だろう。


長くなったので、Hostのチュートリアルは次回にしよう。

2021年10月21日

docker再びの再び (3)

前回、Dockerfile を使って簡単な、本当に簡単なイメージを作るところまでやった。
RUN で実行した内容までイメージに含まれるから、準備はそこでやっておけというところだろう。

つまり、Dockerfile をもらった場合は、それで docker build してイメージを作って、docker run してやればよいということか。
しかし、Dockerfile だけでイメージを作ることができれば良いのだけど、GitHub に上がってるやつなんかは他のファイルもいるだろうから、コードとか気にせず使いたいだけだったらイメージそのものがほしいところだ。

そこで Docker Hubの出番か。


docker run するときも、ローカルにイメージがなければ docker pull でダウンロードしてくると書いてあった。
なので、私も動かしたいものを Docker Hub から探してきて、docker pull して docker run すれば動かせると思う。

 

困ったことに、これを動かしたい、というものが思いつかない。。。
仕方ないので、これにした。

https://hub.docker.com/r/btcpayserver/lightning/tags

$ docker pull btcpayserver/lightning:v0.10.1-2
v0.10.1-2: Pulling from btcpayserver/lightning
a330b6cecb98: Pull complete
d18683af84c4: Pull complete
d089f3521651: Pull complete
00b9a3bf1da8: Pull complete
c6394cf1c296: Pull complete
241733e1daf6: Pull complete
de9614f35f2b: Pull complete
735eb65d54fb: Pull complete
8047f9f53e51: Pull complete
c9ed1993582a: Pull complete
Digest: sha256:929386072091408c8574fdda9c5e059cf2846fdef82b194f810ddb2281e09ac9
Status: Downloaded newer image for btcpayserver/lightning:v0.10.1-2
docker.io/btcpayserver/lightning:v0.10.1-2

$ docker run btcpayserver/lightning:v0.10.1-2
Invalid combinaion of LIGHTNINGD_NETWORK and LIGHTNINGD_CHAIN. LIGHTNINGD_CHAIN should be btc or ltc. LIGHTNINGD_NETWORK should be mainnet, testnet or regtest.
ltc regtest is not supported

イメージは取ってくることができたが、単に docker run するだけではダメだった。
環境変数かな?

Docker run reference | Docker Documentation
https://docs.docker.com/engine/reference/run/#env-environment-variables

docker run の後に -e "xxx=yyy" の形か、export された環境変数なら -e xxx で指定できるようだ。

$ docker run -e "LIGHTNINGD_NETWORK=regtest" -e "LIGHTNINGD_CHAIN=btc" btcpayserver/lightning:v0.10.1-2
network=regtest added in /root/.lightning/config
rpc-file=/root/.lightning/lightning-rpc added to /root/.lightning/config
Installing bundled plugins
C-Lightning starting, listening on port 9735
2021-10-20T10:31:52.693Z UNUSUAL lightningd: Creating configuration directory /root/.lightning/regtest
2021-10-20T10:31:52.693Z UNUSUAL lightningd: Creating configuration directory /root/.lightning/regtest
2021-10-20T10:31:52.920Z INFO    database: Creating database
2021-10-20T10:31:53.000Z UNUSUAL hsmd: HSM: created new hsm_secret file

ちゃんとした動作環境を用意していないからここで止まってしまうが、 -e で指定すれば動くことは分かった。
ついでに bitcoind も動かせることを確認しよう。

https://hub.docker.com/r/btcpayserver/bitcoin/tags

$ docker pull btcpayserver/bitcoin:22.0-1-amd64
22.0-1-amd64: Pulling from btcpayserver/bitcoin
07aded7c29c6: Pull complete
d17b51f7cfe8: Pull complete
6d6d52f12809: Pull complete
e47859bdfcf2: Pull complete
a57e01ab8b33: Pull complete
Digest: sha256:aacdcf9419dc88d80fd130fc7d51dda46b1be323967798c113ff77b6b6eea74c
Status: Downloaded newer image for btcpayserver/bitcoin:22.0-1-amd64
docker.io/btcpayserver/bitcoin:22.0-1-amd64

$ docker run btcpayserver/bitcoin:22.0-1-amd64
2021-10-20T10:40:41Z Ignoring unknown configuration value mainnet
2021-10-20T10:40:41Z Bitcoin Core version v22.0.0 (release build)
2021-10-20T10:40:41Z Assuming ancestors of block 00000000000000000008a89e854d57e5667df88f1cdef6fde2fbca1de5b639ad have valid signatures.
(略)

立ち上がる。
立ち上がるのだが、設定ファイルを書き換えて動かしたい。しかしイメージは既にできあがった状態だ。
たしか、ボリュームをマウントする方法があったはずだ。


docker runのオプションにある。

VOLUME (shared filesystems)
https://docs.docker.com/engine/reference/run/#volume-shared-filesystems

-v=ローカルのディレクトリ:コンテナ側のディレクトリ、という形だ。
指定すると、確かにローカルのディレクトリにコンテナ側で作成されたファイルが入ってくることが分かった。

が、どうもこの Dockerfile というかイメージは設定ファイルも一緒に作るようで、設定ファイルを先に置いていても上書きされてしまう。

こういうのはどうしようもないな。
幸いなことに、設定ファイルを作る部分は Dockerfile の RUN ではなく CMD 側で実行されているようなので、例えば regtest用にしたいならこんな感じで変数を与えてやると良い。

$ docker run -e "BITCOIN_NETWORK=regtest" -v=`pwd`/bitcoin:/home/bitcoin/.bitcoin btcpayserver/bitcoin:22.0-1-amd64

"entrypoint.sh" のような名前のファイルは、コンテナ起動時の設定をするためによく使われると Dockerの本にも書いてあったような気がする。今思えば、会社にあったオライリーの Docker本はなかなかよさそうだったのでもっと読んでおけば良かった。

ともかく、docker pull して楽ができるとしても、カスタマイズをしたいならオリジナルが何をしているのかを知っていないといかん。
とは思ったものの、今回は Docker Hubのリポジトリとほぼ同じ名前で GitHub のリポジトリがあったからたどり着けたのだが、普通はどうするのだろうか? IMAGE LAYERのところを見ても詳細はわからんし。


あとは、ポート番号だ。
単に docker run だけした場合、どうもコンテナで起動したアプリのポート番号はホスト側には出てこないようなのだ。

EXPOSE (incoming ports)
https://docs.docker.com/engine/reference/run/#expose-incoming-ports

こういう「incomming」って、誰に向けての説明か悩むよね。コンテナを起動するコマンドが主体なのか、コマンドを実行するのはホストだからホストが主体なのか。

オプションは -p ホスト:コンテナ らしい。「Publish a container's port or a range of ports to the host」なので、コンテナのポートをホストに公開するオプションになるようだ。

$ docker run -e "BITCOIN_NETWORK=regtest" -v=`pwd`/bitcoin:/home/bitcoin/.bitcoin -p 18444:18444 -p 18443:18443 btcpayserver/bitcoin:22.0-1-amd64

こうするとホスト側で ss -nat などでポート番号の使用状況を確認すると 18443, 18444 が出てくるようになる。

ちなみに、実行中のコンテナにログインしてコマンドを実行したいと思うなら docker exec を使うとよいだろう。

$ docker ps
$ docker exec -it d33e6ab4e04f /bin/bash

"d33...04f"は実行中のコンテナIDで、doker ps などで確認できる。

 

ネットワーク関係は次回だな。

2021年10月20日

docker再びの再び (2)

さて、docker本体のことをやっていこう。

あれからちょっと本を読んで勉強したのだが、私は「まずDockerfileから!」と思っていたのだが、コマンドラインからでもできるけどいちいち面倒だからDockerfileにする、という感じなのだな。
まあ、そういう意味ではDockerfileから始めるのも間違いではないのか。

今回はこういうバージョンで進めます。

$ docker --version
Docker version 20.10.7, build 20.10.7-0ubuntu1~20.04.2


基本に忠実にいこう。
というよりも、本家のドキュメントが一番わかりやすい気がする。

Docker overview | Docker Documentation
https://docs.docker.com/get-started/overview/

Docker objectsのところに動かし方の例が載っていた。 "docker run" でいろいろやってくれるそうだ

$ docker rm `docker ps -qa`
$ docker rmi `docker images -qa`
$ docker run -i -t ubuntu /bin/bash
Unable to find image 'ubuntu:latest' locally
latest: Pulling from library/ubuntu
7b1a6ab2e44d: Pull complete
Digest: sha256:626ffe58f6e7566e00254b638eb7e0f3b11d4da9675088f4781a50ae288f3322
Status: Downloaded newer image for ubuntu:latest
root@972d70ba7c5b:/#

最初の2コマンドは、残っていたコンテナやイメージを全部消したかっただけだ。
3つめのコマンドがサイトに書いてあった例である。
Dockerfile がなくても使えるのだが、引数が多くなると面倒だから Dockerfileにしよう、というところだろう。

コンテナはメインプロセス?が終了すると実行が終わると言うことだった(本に書いてあった)。
ここでは /bin/bash がそれに当たる。シェルだからユーザが何もしないと生き続ける。 exit などで終了するとコンテナも終了する。

root@972d70ba7c5b:/# exit
exit
$ docker ps
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES
$ docker ps -a
CONTAINER ID   IMAGE     COMMAND       CREATED          STATUS                      PORTS     NAMES
972d70ba7c5b   ubuntu    "/bin/bash"   14 minutes ago   Exited (0) 27 seconds ago             kind_austin

docker ps は結果が長くなって折り返して見づらいのだが、STATUS が Exited になっていることがわかる。

 

docker runのオプション

-i ... Keep STDIN open even if not attached
-t ... Allocate a pseudo-TTY

シェルを動かしているから、ターミナルを動かさないといかんし、入力させるから STDIN を開いたままにしないといかんし、ということかな。


イメージを自分で作るのはいずれやるとして、コマンドラインの使い方を覚えるのが面倒そうだから Dockerfile の書き方を先に調べよう。

Best practices for writing Dockerfiles | Docker Documentation
https://docs.docker.com/develop/develop-images/dockerfile_best-practices/

Dockerfile はイメージを自動的にビルドするためのテキストファイルと書いてあるので、実行を簡単にするものではない?
でも「contains all commands」と書いてあるので、なんとかなるのか?

$ cat Dockerfile
FROM ubuntu:20.04
CMD /bin/bash

こんな Dockerfileを作った。
CMD と RUN の違いがよくわからんが、RUN が事前準備で CMD が実行するメインプロセスだと思う。

$ docker build -t test:v1 .
Sending build context to Docker daemon  2.048kB
Step 1/2 : FROM ubuntu:20.04
20.04: Pulling from library/ubuntu
7b1a6ab2e44d: Pull complete
Digest: sha256:626ffe58f6e7566e00254b638eb7e0f3b11d4da9675088f4781a50ae288f3322
Status: Downloaded newer image for ubuntu:20.04
  ---> ba6acccedd29
Step 2/2 : CMD /bin/bash
  ---> Running in 4500cd01b011
Removing intermediate container 4500cd01b011
  ---> b3180f0f44d8
Successfully built b3180f0f44d8
Successfully tagged test:v1

これで終わりだ。
CMD で書いたものが実行されたりはしていない・・・? いや Step 2/2 でやろうとしているな。

サンプル通りにやってみよう。

$ cat Dockerfile
FROM ubuntu:20.04
COPY /hello.txt /
RUN cat /hello.txt

$ cat hello.txt
Hello, World!

hello.txt はあらかじめカレントディレクトリに作ってある。

$ docker build -t test:v1 .
Sending build context to Docker daemon  3.072kB
Step 1/3 : FROM ubuntu:20.04
  ---> ba6acccedd29
Step 2/3 : COPY /hello.txt /
  ---> cbc39019824a
Step 3/3 : RUN cat /hello.txt
  ---> Running in 178ad7dff873
Hello, World!
Removing intermediate container 178ad7dff873
  ---> b66dc3af8f2a
Successfully built b66dc3af8f2a
Successfully tagged test:v1

おお、実行されているではないか!
シェルはちょっと特殊だと思うから、なんかオプションがあったような気もする。

docker run したのと違い、これで実行すると docker images で test というリポジトリが見えた。

$ docker images
REPOSITORY   TAG       IMAGE ID       CREATED          SIZE
test         v1        b66dc3af8f2a   14 minutes ago   72.8MB
< none>       <none>    9cdcb8314e60   16 minutes ago   72.8MB
< none>       <none>    b3180f0f44d8   20 minutes ago   72.8MB
ubuntu       20.04     ba6acccedd29   4 days ago       72.8MB

イメージを自動的に作るという、あれだろう。
サイズが全部同じなのは、これらは ubuntu という layer の上に全部載っかってるからということでよいのかな?
わからん。

 

まず、簡単に分かることからやろう。
さっきは RUN で cat したが、 CMD でもいいんじゃなかろうか。

$ docker build -t test:v1 .
Sending build context to Docker daemon  3.072kB
Step 1/3 : FROM ubuntu:20.04
20.04: Pulling from library/ubuntu
7b1a6ab2e44d: Pull complete
Digest: sha256:626ffe58f6e7566e00254b638eb7e0f3b11d4da9675088f4781a50ae288f3322
Status: Downloaded newer image for ubuntu:20.04
  ---> ba6acccedd29
Step 2/3 : COPY /hello.txt /
  ---> 4522c706bb17
Step 3/3 : CMD cat /hello.txt
  ---> Running in e50e77c5baa6
Removing intermediate container e50e77c5baa6
  ---> e71d4d3c2fe5
Successfully built e71d4d3c2fe5
Successfully tagged test:v1

うーん、Running と出力されているので、動いていないことは無いのだと思う。
こちら側の標準出力に出力させる理由がなかったとかだろうか。

RUN
https://docs.docker.com/engine/reference/builder/#run
RUN命令は、現在のイメージの上にある新しいレイヤーでコマンドを実行し、結果をコミットします。

CMD
https://docs.docker.com/engine/reference/builder/#cmd
CMDの主な目的は、実行中のコンテナーにデフォルトを提供することです。

CMDのデフォルトは、上で書いたメインプロセスと同じ意味だろう。
RUNの「結果をコミットします」は、イメージを作るときに実行結果もイメージに含めますよ、ということだろう。

$ docker run test:v1
Hello, World!

ほら、動いた。

2021年10月3日

docker再びの再び (1) - 無料プランの話

2016年、2019年とdockerのことを勉強しては忘れる日々。

hiro99ma blog: docker ? (1)
https://hiro99ma.blogspot.com/2016/08/docker-1.html

hiro99ma blog: docker ? (2)
https://hiro99ma.blogspot.com/2016/08/docker-2.html

hiro99ma blog: Docker再び (1)
https://hiro99ma.blogspot.com/2019/05/docker-1.html

hiro99ma blog: Docker再び (2)
https://hiro99ma.blogspot.com/2020/03/docker-2.html

今も忘れた状態を維持している。
コマンドであれば、メモを残しておいてまねすれば良いのだが、dockerみたいなのはそうもいかないと思う。

いや、dockerもそういうレベルで落とし込まないと忘れるに決まっている。忘れないという前提で勉強するのに意味が無いことは、今までの記事でも分かる。

今シリーズは、なるべくそういう記事になるようがんばろう。


記事の前提だが、Linuxのみとする。
うちだとWindows10がホストで Virtual Boxに Ubuntuをインストールしていることが多い。今週には Windows11 がリリースされるようだが、うちのPCたちはどれも推奨環境を満たせなかった。ThinkPad T460sは期待したのだが、まさかCPUが引っかかるとは。。。
そういうのはともかく、Windows上での dockerではなく、Ubuntu上での dockerとする。

あとは、ハードウェアを操作するようなのはあまり考えないことにする。
VirtualBox でハードウェアとなると USBデバイスを動かしたいこともあるのだが、そういうのは無しだ。


こちらがGet Startedページ。

Get Started with Docker | Docker
https://www.docker.com/get-started

Windowsで見ているので、Docker Desptop(for Windows)と Docker Hubが見えている。
Ubuntuで動かすときにはコマンドしか使ったことがないのだが、そうなると Linux Engineというのがそれになるのか?

image

Linux Engineのページに行くと、Fedora, CentOS, AWS, Azure, Ubuntu, Debianが一覧に出てきた。

Explore Docker's Container Image Repository | Docker Hub
https://hub.docker.com/search?offering=community&operating_system=linux&q=&type=edition

ちなみに Desktop は、Windows と Macが 1つずつだ。

Dockerの利用が企業規模によっては有料になったという記事を見たのだが、2021年8月31日のブログに書いてあるのは Docker Desktopについてだけのように見える。

Docker is Updating and Extending Our Product Subscriptions - Docker Blog
https://www.docker.com/blog/updating-product-subscriptions/

「No changes to Docker Engine」とも書いてあるので、Linux Engineを使うだけなら気にしなくてよいかもしれない。

 

ただ、Docker Hubというものについても今年アナウンスが出ていた記憶がある。
実のところ、Docker Hubのこともよく知らないのだが、Dockerのコンテナ?イメージ?を公開して置いておいたり、自分の開発しているものを置いておいたりできるようなものじゃなかったか。

ふだん、よく「dockerからコンテナを取ってきて」みたいな感じで、どこからか動かすものを取得しているのだけれども、あれは Docker Hubに公開してくれている誰かのリポジトリを使わせてもらっているのだと思っている。

とりあえず、1つアカウントを作ってみた。もちろん無料版だ。

image

このアンダーラインを引いたのが、Docker Hubに自分のリポジトリを持つことができる上限なのだろう。
「public」については unlimited としか書いていないが、設定を見るとこうなっていたので「private」は1つまでしか持てないのだろう。

image

お仕事で使うとなると、なんでもかんでも public にするわけにはいかんので、有料プランを選択するという選択もあるのだろう。


Dockerが、いや Docker社がここまで一般的に使用できる環境を提供し続けているというのは、非常に驚くべきことだと思っている。

デファクトスタンダードというか、dockerを利用しても環境縛りに思われないくらいの立ち位置にいるというのはすごい。
環境を作るということに特化しているのに「コンパイルはgccでやります」みたいなノリで「環境はdockerでつくります」になっているので、そのことに恐怖すら覚えるところだ。だいたい数年するといくつも同じようなサービスが立ち上がるものだけど、Dockerがこの立ち位置を維持できているのは不思議な気がする。