あれから20日ほど経ったが、LM Studioはそれほど使っていない。
- 無料版の方が性能が良くて早い
- 今の作業があまり情報漏洩に気を配らなくて良い状況
- 無料枠の範囲で済んでいる
無料枠を使い切って、それでもどうにかしたいという場合だと割り切っている。
MCPはAPIから使われない
そういう使い方をしているので、主にLocal Serverモードにしてvscodeからアクセスするということになる。
そうなると、LM Studioに登録しているMCP serverは使われないんじゃなかろうか? 使われるんだったら vscode やその Extensionに MCP serverの設定はいらないはずではないか。
Geminiに聞くと、使われないそうだ。深くは調べていないが、何となくそうだろうと思ってAIもそういう答えを出したので、もうそれでいいということにしておく。
システムプロンプトもAPIから使われない
ということは、同じくシステムプロンプトの設定も同じくLM Studio側の内容は使われないことになる。vscode の Continue ログを見ていても、Continue側で書いたシステムプロンプトが送られているようだったしね。
これは使われないというよりは、API側で指示されたものが優先されるということらしい。指示がなければLM Studio側の設定が使用されるのだろうか? そもそもLLMにとって普通の指示とシステムプロンプトに違いはあるのだろうか?
LLMにシステムプロンプトを与えるときにはそれ用のタグを付けて送るのでそれで見分けているらしい。それならAPIを優先するということもできるのか。
挙動が心配なら LM Studio のシステムプロンプトは使わないようにするのが無難だろう。
APIモードのときは何が効きそう?
以前やったようにコンテキスト長の設定は影響する。
他にも使用するスレッド数のようにソフトウェアとしての振る舞いに関係するパラメータはLM Studioの設定が使用される。
システムプロンプトやTemperatureはAPIの方が優先されるらしい(Gemini)。温度?
Temperatureは、一言で言うと「AIの回答の『自信満々さ』や『ランダム性』を調整するパラメータ」です。
わからんわー
0 件のコメント:
コメントを投稿
コメントありがとうございます。
スパムかもしれない、と私が思ったら、
申し訳ないですが勝手に削除することもあります。
注: コメントを投稿できるのは、このブログのメンバーだけです。