コンテキスト長が大きすぎる、というようなエラーが出てきた。
ここだと思うが、元が4096だったので倍にしたところ警告が出た。最初から Custom value だったのだけどそれはよいのかな？
> The higher the context length, the more memory the model will take. If you are unsure, don't change the default
この値はモデルによるようなので設定してもダメなときはダメなんだろう。
vscode に Continue のデバッグ出力っぽいタブを追加してみたが、プロンプトでファイル名を指定したためかファイルの内容がまるまる使われているようだ。ファイルサイズは24KBくらいなのだがそれがそのままコンテキストの長さになるのではなさそうだ。 エラー文言中の 8514 ってなんだろうね。。。プロンプトトークンなるものが 7831 になっていたのでそれにシステムプロンプトとかの分が足されたのかな？
ああ、設定画面はあくまでデフォルト値の設定だけで、自分がサーバになって提供するときの設定は別みたいだ。
これを適当に引き伸ばしたところエラーは出なくなった。
出なくはなったが！
Rustのソースファイルを渡したのにレスポンスとしてPythonのコードが返ってきた。。。
道のりは遠いな。
0 件のコメント:
コメントを投稿
コメントありがとうございます。
スパムかもしれない、と私が思ったら、
申し訳ないですが勝手に削除することもあります。
注: コメントを投稿できるのは、このブログのメンバーだけです。