最近、LM Studioをインストールした。ほとんど使っていない。
hiro99ma old blog: なんとなくLM Studioをインストールしてみる
使っていないのは、GitHub Copilot(Free) や Gemini Code Assist でそこまで困っていないからだ。とはいえ、Freeなのでまじめに使うとすぐ制限が来てしまう。Gemini Code Assistは Google Workspaceで使えるやつなのだがそんなに性能?がよくない。
Copilotは年間だと100ドルなので、今だと16,000円くらい。Claude Proは17ドル/月(年払いの場合)なのでその倍くらい。そう思うと劇的に高いというほどではないのだが、これをずっと払い続けると考えると、ほどほどなGPUを購入してローカルAIでそこそこに使えるかどうかを試したいところだ。
LM Studio は v0.4.6。Windows11で動かしている。
vscodeは v1.111.0。これも Windows11で動かしているが Remote Connection で WSL2 と接続している。
Extension は Continue v1.2.17 を選んだ。
CLine が有名そうだったが少なくとも1回はアカウントを作ってログインしないと使えないようだったのであきらめた。無料ではあるがアカウントを増やしたくないのだ。
Windows の vscode は Extension の扱いがよくわかってない。LOCAL と WSL:UBUNTU(うちだとWSL2にUbuntuをインストールしているので)が分かれている。最初にインストールするとだいたい LOCAL の方にインストールされ、WSLにもインストールしたかったらそれ用のボタンをクリックすることが多い。しかし全部がそうなわけではなく LOCAL にしか表示されないものもある。
Continue Extensionは後者で LOCAL にしか出てこない。GitHub Copilot Chat や Gemini Code Assist は WSL:UBUNTU の方にもあるのだ。気になるが出てこないものはしょうがない。
Local Config はこんな感じ。qwen/qwen2.5-coder-14b しかインストールしていない。
name: Local Config
version: 1.0.0
schema: v1
models:
- name: LM Studio
provider: lmstudio
model: AUTODETECT
apiBase: http://localhost:1234/v1/
動作モード?はチャット欄の下で選択できるのだが、たぶん Agent を選ぶことになると思う。⚠マークが付いているのは今のモデルだといまいちかも、みたいな指標のようだ。推奨モデルはもっと上を求めているようだ。
ならば Chat でいいやんってなりそうだが、ツール類を使ってもらおうとすると Agent しか選択肢がなさそうだった。
LM StudioとContinueがつながっているようなので、適当に動かしたい。しかしプロジェクト全体を指すような方法が見当たらない。他のAIに聞くと「@codebase で指定できる」ということだったがそういう@指示はなさそう。チャット欄に「@」のボタンがあり、そこに出てこないのだ。
インデックスされていないとどうのこうのというのも見かけたので設定を探したのだが、どうもその機能は deprecated されているらしい。
リンク先はこちらだ。
How to Make Agent mode Aware of Codebases and Documentation | Continue Docs
先ほど Agent 以外だとツール類がどうのこうのと書いたのがこの辺の話だ。
@Codebase についても代替案が書いてあり、built-inされたツールを使えだの、.continue/rules/ にプロジェクト構造についてのファイルを置きなさいだの、外部のファイルについては deepwiki などの MCP serverを使いなさいだの書いてある。
DeepWki のページには Streamable HTTP とある。
なのでこの書き方で良いはずだ。
How to Use Streamable HTTP Transport
name: MCP servers
version: 0.0.1
schema: v1
mcpServers:
- name: Deep Wiki
type: streamable-http
url: https://mcp.deepwiki.com/mcp
このくらいでよいのかな?
作業していた Rustのファイルを相対パスで与えてみると、ファイルを読んだりしているようだ。built-inのツールはこういうふうに使われるものでプロンプトを書く人が指定するものではないようだ。
このファイルは50行にも満たない短い内容なのだが、それでも回答が終わるのに2分くらいかかっていた。GPUがあるともっと速いのだろうが、どのくらい効果があるのかねぇ。