なんでも、whichllm というツールでほどよいLLMを検討してくれるそうだ。
VRAMのサイズめいっぱいとかではなく、なんかいろいろ見てくれるらしい。
いつも適当にやっているので、違う目線で評価してくれるのはありがたい。
このツールはPythonで書かれているようなのだが、LLMを動かすのはWSL2じゃなくてWindows側になるのでそっちがいいよなあと winget で Python3.14 をインストール。
pip install uv でパッケージマネージャーらしきものをインストール。最近はそんなのがあるんだねぇ。
ノートPCの方
ノートPCの方で実行した。
3年ほど前に購入した ThinkPad T14s なのでそれほどスペックは高くないのだが、どんなものだろう?
Qwen3.6-27B Q6_K ですか。
LM Studio で見ると 23 GBもあるのだが大丈夫なんだろうか。
IntelのCPUは shared memory なるものになっていて、本体RAMもVRAMとして使えるので大きめのサイズも使えると思われている気がする。
でもまあ、使えないわけではないのだから試してみるのはありだろう。
とやってみたのだが・・・無理!
単にLLMをロードしただけなのだがメモリ使用率が98%になってしまった。他にもアプリがあるのでQwen3.6 27Bだけが原因ではないのだが、普通の状態でこれだとちょっと使い物にならんな。アンロードすると使用率が20%くらいまで下がった。
VRAMより多いと遅くなるという話は聞いていたが、Shared Memoryだと本体RAMを食いつぶしてこうなるのだな。
ではRAMを食いつぶさないようパラメータを指定しよう。
--vram オプションでサイズは指定できるようなのだが、セットで --gpu も指定がいるようであった。このGPUの名前がよくわからんのだ。"Iris"でいいんだろうか?
・・・ "Iris" だと " Iris Graphics 5100 Mobile (simulated)" になった。ちょっと違う。
変に考えず "Intel(R) Iris(R) Xe Graphics" でよさそうだ。
そうするとModelは変わらなかったがQuantがQ6_KからQ3_K_Mに変化した。これだとファイルサイズが 14.2GBくらいまで減る。
が、これでもロードするとRAM使用率が95%になってしまった。
「部分的なGPUオフロードが可能」なタイプだとこうなってしまうのか?
Qwen3-8Bだと4.7GBで使用率は55%くらいだった。
"TeichAI : Qwen3 14B Claude 4.5 Opus High Reasoning Distill..."というのは9GBくらいだったが使用率は80%になった。
Publishedが新しい方がいいけどサイズが大きいと使えないし、難しい、難しい・・・。
まあ、夢は見させてもらったぜ、というところか。
時間はかかる
"TeichAI : Qwen3 14B Claude 4.5 Opus High Reasoning Distill..." を使って encdec.rs の関数の使い方についてレビューをお願いした。
> argon2やchacha20poly1305の関数の使い方で気になる点を挙げてほしい。
これでだいたい20分くらいかかった。
遅い、と思うかもしれないが、まあこんなもんだろう。
もしかしたらもっとランク?を落としてもよいのかもしれないが、それでレビューが不十分になるのは困る。
無料ツールでトークン消費を抑えるために時間がかかっても良いやつはローカルLLMに任せるということにしておけばよいのか。
デスクトップPCの方
デスクトップPCは、Ryen 7 5700G というグラフィック出力できるCPUが載っている。
AMDで、専用GPUメモリは512MB。専用と言ってもマザーボードのRAM振り分けがBIOSで設定されているのだったと思う。
タスクマネージャーで見ると共有GPUメモリもあるが、これはどこで設定されたのかわからん。
こちらの結果はこんな感じ。
ノートPCの方とそんなに変わらないんじゃないかと思ったが、ちょっとこっちが上に扱われているのかな?
とはいっても昨日の様子を見ると調子に乗って1番目のやつを選択したらメモリがなくなるに違いない。ブドウが酸っぱいのだ。
どのくらいでどうなの?
ひとことで「遅い」といっても、何に使っているかで違うと思う。
それに、遅いからといってモデルを変えれば済むこともあれば、モデルをこれ以上引き下げると内容的に使い物にならないということもあろう。
あとは節約か。
プロンプトの書き方によって変わってくるので、うまいこと書けばもっと軽く動くということもありそう。
オフラインでプロンプトを評価したり書き換えたりしてくれるツールが欲しいなあ。