# 多模态与系统提示快照

[English](../en/multimodal-and-prompt.md) · [返回 README](../../../README.md)

## 贴图输入

配置了 mmproj（视觉投影文件）的模型可以接收图片。插件根据面板模型配置里的 `mmprojFile` 告诉 dsh 这个模型支持哪些输入：

- 配了 mmproj，文件也在：`["text", "image"]`，dsh 的输入框允许贴图。
- 没配 mmproj，或者配了但文件缺失（`missing-mmproj`）：`["text"]`。
- 老面板的响应里没有这个字段，插件无法判断，就什么也不声明。

图片的传递过程：你在 dsh 里贴的图会先经过宿主的 attachments 服务读出字节，转成 base64 的 `image_url`，再随消息发给 llama.cpp。`proxy` 和 `direct` 模式都支持。

图片读取失败时（比如 attachments 服务不可用，或者存储层校验没通过），插件会在原位置放一段占位文字 `[image attachment unavailable]`，而不是悄悄丢掉。这样模型知道这里本来有张图，排查问题时也能看到。工具返回结果里的图片也按同样方式处理。

GIF、WebP 这些格式能不能用，取决于 llama.cpp 能不能解码。

## 系统提示里的本地模型清单

插件会往 dsh 的系统提示里加一段 `llamapad:local-fleet`，用英文写，因为读它的是模型。内容包括：

- 正在跑哪些模型，默认模型标 `default`，并说明不指定模型的请求会发给谁；
- 还能启动哪些模型，排除正在跑的，最多列 20 个，多出来的只给数量。

这样一来，任何 provider 的模型，包括云端模型，都能看到本地有哪些模型可用，可以自己把合适的任务交给本地模型，或者调用 `llamapad_start_model` 把某个模型拉起来。

数据来自状态刷新时顺带维护的缓存，每次组装系统提示时取最新值。面板连不上或者还没探测成功时，这一段直接省略，不会写成「本地没有模型」。

### 隐私

这段清单是系统提示的一部分，会跟着请求发给当前会话使用的 provider。如果会话用的是云端模型，云服务商就能看到你本地 GPU 上有哪些模型。介意的话把 `statusPromptSection` 设为 `false`。