# llama-server parameters Generated from [`catalog.js`](../catalog.js). Empty values are omitted from the command line. The catalog tracks llama.cpp build 10236; newer builds may add flags. Use **Extra raw arguments** for options that are not listed yet. ## 模型与上下文 / Model & context | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `-c` | 上下文长度 | number | 4K (4096), 8K (8192), 16K (16384), 32K (32768), 64K (65536), 128K (131072) | 0 = 从模型元数据读取;越大越吃显存。 | | `-n` | 最大生成 token | number | 不限 (-1), 256, 512, 1024, 2048, 4096 | -1 = 不限制。 | | `-b` | 逻辑批大小 | number | 512, 1024, 2048, 4096 | 默认 2048。 | | `-ub` | 物理批大小 | number | 128, 256, 512, 1024 | 默认 512。 | | `--keep` | 保留初始 prompt token | number | 0, 256, 512, 1024, 全部 (-1) | 0 = 不保留,-1 = 全部保留。 | | `-np` | 并行槽位 | number | 1, 2, 4, 8 | -1 = 自动。 | | `-a` | 模型别名 | text | | API 中暴露的名称,可逗号分隔。 | | `--tags` | 模型标签 | text | | 仅作说明,不参与路由。 | | `--pooling` | Embedding 池化 | enum | | 仅 embedding 模型使用。 | | `--embd-normalize` | Embedding 归一化 | number | | -1 无,0 最大绝对值,1 曼哈顿,2 欧氏,>2 p-范数。 | | `--embedding` | Embedding 模式 | flag | | 只提供 embedding 接口。 | | `--rerank` | Rerank 接口 | flag | | 启用 reranking endpoint。 | | `-mu` | 模型下载 URL | text | | 由 llama-server 下载后加载。 | | `-dr` | Docker Hub 模型仓库 | text | | 例如 gemma3 或 ai/gemma3:Q4_K_M。 | | `-hf` | Hugging Face 仓库 | text | | 例如 ggml-org/GLM-4.7-Flash-GGUF:Q4_K_M。 | | `-hff` | Hugging Face 文件 | text | | 覆盖 --hf-repo 中的量化选择。 | | `-hfv` | Hugging Face 声码器仓库 | text | | 仅音频/声码器模型。 | | `-hffv` | Hugging Face 声码器文件 | text | | 仅音频/声码器模型。 | | `-hft` | Hugging Face Token | text | | 敏感信息;保存在本机配置文件中。 | | `--lora` | LoRA 适配器 | text | | 多个用逗号分隔。 | | `--lora-scaled` | 带缩放的 LoRA | text | | 格式 FNAME:SCALE,多个用逗号分隔。 | | `--lora-init-without-apply` | LoRA 仅加载不应用 | flag | | 之后可通过 POST /lora-adapters 应用。 | | `--control-vector` | Control vector | text | | 多个用逗号分隔。 | | `--control-vector-scaled` | 带缩放的 Control vector | text | | 格式 FNAME:SCALE。 | | `--control-vector-layer-range` | Control vector 层范围 | pair | | 两个数字:START END(含端点)。 | | `-mv` | 声码器模型 | text | | TTS 使用。 | | `--tts-use-guide-tokens` | TTS guide tokens | flag | | 改善 TTS 单词召回。 | ## CPU / 上下文缓存 / CPU & cache | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `-t` | CPU 线程 | number | 4, 8, 12, 16, 24, 32, 自动 (-1) | -1 = 自动。 | | `-tb` | 批处理线程 | number | 4, 8, 12, 16, 24, 32 | 默认同 --threads。 | | `--threads-http` | HTTP 线程 | number | 2, 4, 8, 16 | -1 = 自动。 | | `-C` | CPU 亲和掩码 | text | | 任意长度十六进制。 | | `-Cr` | CPU 亲和范围 | text | | 格式 lo-hi。 | | `--cpu-strict` | 严格 CPU 放置 | enum | | | | `--prio` | 线程优先级 | number | | low=-1, normal=0, medium=1, high=2, realtime=3。 | | `--poll` | 轮询级别 | number | | 0–100;0 = 不轮询,默认 50。 | | `-Cb` | 批处理 CPU 掩码 | text | | 默认同 --cpu-mask。 | | `-Crb` | 批处理 CPU 范围 | text | | 格式 lo-hi。 | | `--cpu-strict-batch` | 批处理严格 CPU 放置 | enum | | | | `--prio-batch` | 批处理优先级 | number | | 0–3。 | | `--poll-batch` | 批处理轮询 | enum | | | | `-fa` | Flash Attention | optional | | auto / on / off。 | | `--swa-full` | 完整 SWA 缓存 | flag | | 使用 full-size SWA cache。 | | `--perf / --no-perf` | 内部性能计时 | flag | | | | `--escape / --no-escape` | 转义序列处理 | flag | | | | `-lm` | 模型加载模式 | enum | | mmap / mlock / mmap+mlock / dio / none。 | | `--numa` | NUMA 优化 | enum | | | | `-cb / --no-cont-batching` | 连续批处理 | flag | | 默认开启的动态 batching。 | | `-lcs` | 静态 Lookup Cache | text | | 只读的 lookup decoding 缓存。 | | `-lcd` | 动态 Lookup Cache | text | | 生成时更新的 lookup cache。 | | `--rpc` | RPC 后端 | text | | 逗号分隔的 host:port 列表。 | | `--no-host` | 绕过 Host buffer | flag | | 允许额外 buffer,可能节省内存。 | | `--check-tensors` | 检查张量数据 | flag | | 加载时检查非法值。 | | `--override-kv` | 覆盖模型元数据 | text | | KEY=TYPE:VALUE,多个用逗号分隔。 | | `-cram` | Prompt cache 上限 (MiB) | number | 1G (1024), 2G (2048), 4G (4096), 8G (8192), 16G (16384), 不限 (-1) | -1 不限,0 禁用。 | | `-ctxcp` | 每槽上下文检查点 | number | 8, 16, 32, 64 | 默认 32。 | | `-cms` | 检查点最小间隔 | number | 关闭 (0), 1024, 2048, 4096, 8192 | token 数;0 = 无最小间隔。 | | `--cache-prompt / --no-cache-prompt` | Prompt 缓存 | flag | | | | `--cache-reuse` | KV 复用最小块 | number | 关闭 (0), 64, 128, 256, 512 | 需要 prompt cache。 | | `--cache-idle-slots / --no-cache-idle-slots` | 空闲槽写入缓存 | flag | | | | `-kvu / --no-kv-unified` | 统一 KV 缓存 | flag | | 所有 sequence 共享一个 KV buffer。 | | `--context-shift / --no-context-shift` | 无限生成上下文平移 | flag | | | | `-to` | HTTP 读写超时 (秒) | number | 10m (600), 30m (1800), 1h (3600), 2h (7200) | 默认 3600。 | | `--sse-ping-interval` | SSE ping 间隔 (秒) | number | 15, 30, 60, 关闭 (-1) | -1 = 禁用。 | | `-sps` | 槽 prompt 相似度 | number | 关闭 (0), 0.1, 0.3, 0.5 | 0 = 禁用。 | | `--sleep-idle-seconds` | 空闲休眠秒数 | number | 关闭 (-1), 1m (60), 5m (300), 10m (600) | -1 = 禁用。 | ## GPU / 显存 / GPU & memory | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `-ngl` | GPU 层数 | text | 自动 (auto), 全部 (all), 0, 16, 32, 48, 64, 99 | 数字 / auto / all。 | | `-sm` | 多 GPU 切分模式 | enum | | | | `-ts` | 张量切分比例 | text | | 例如 3,1。 | | `-mg` | 主 GPU 索引 | number | 0, 1, 2, 3 | | | `-fit` | 自动适配显存 | optional | | on / off;自动调整未设置的参数。 | | `-fitt` | 每设备保留显存 (MiB) | text | 512M (512), 1G (1024), 2G (2048), 4G (4096) | 单个值会广播到所有设备。 | | `-fitc` | fit 允许的最小上下文 | number | 2K (2048), 4K (4096), 8K (8192), 16K (16384) | 默认 4096。 | | `-dev` | 使用的设备 | text | | 逗号分隔,例如 CUDA0,CUDA1;none = 不卸载。 | | `-ot` | 覆盖张量 buffer 类型 | text | | pattern=buffer,多个用逗号分隔。 | | `-cmoe` | MoE 权重全放 CPU | flag | | | | `-ncmoe` | 前 N 层 MoE 放 CPU | number | 0, 8, 16, 24, 32, 48 | | | `--op-offload / --no-op-offload` | Host 算子卸载到设备 | flag | | | | `-ctk` | K 缓存类型 | enum | | | | `-ctv` | V 缓存类型 | enum | | | | `-kvo / --no-kv-offload` | KV 缓存卸载到 GPU | flag | | | | `--repack / --no-repack` | 权重重打包 | flag | | | | `--rope-scaling` | RoPE 缩放方法 | enum | | | | `--rope-scale` | RoPE 缩放倍数 | number | 2, 4, 8, 16 | 上下文扩展 N 倍。 | | `--rope-freq-base` | RoPE 基频 | number | | | | `--rope-freq-scale` | RoPE 频率缩放 | number | | 上下文扩展 1/N。 | | `--yarn-orig-ctx` | YaRN 原始上下文 | number | 4K (4096), 8K (8192), 16K (16384), 32K (32768) | 0 = 模型训练上下文。 | | `--yarn-ext-factor` | YaRN 外推因子 | number | | | | `--yarn-attn-factor` | YaRN 注意力因子 | number | | | | `--yarn-beta-slow` | YaRN beta slow | number | | | | `--yarn-beta-fast` | YaRN beta fast | number | | | ## 采样 / Sampling | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `--samplers` | 采样器顺序 | text | | 分号分隔,例如 penalties;dry;top_k;... | | `-s` | 随机种子 | number | | -1 = 随机。 | | `--sampling-seq` | 简化采样器序列 | text | | 默认 edskypmxt。 | | `--ignore-eos` | 忽略 EOS | flag | | 持续生成,隐含 --logit-bias EOS-inf。 | | `--temp` | Temperature | number | 0, 0.3, 0.6, 0.8, 1, 1.2 | 默认 0.80。 | | `--top-k` | Top-K | number | 关闭 (0), 20, 40, 64, 100 | 0 = 禁用。 | | `--top-p` | Top-P | number | 0.8, 0.9, 0.95, 0.98, 关闭 (1) | 1.0 = 禁用。 | | `--min-p` | Min-P | number | 关闭 (0), 0.02, 0.05, 0.1 | 0.0 = 禁用。 | | `--top-n-sigma` | Top-n-sigma | number | 关闭 (-1), 1, 2, 3 | -1 = 禁用。 | | `--xtc-probability` | XTC 概率 | number | 关闭 (0), 0.25, 0.5, 0.75 | 0 = 禁用。 | | `--xtc-threshold` | XTC 阈值 | number | 0.05, 0.1, 0.2, 关闭 (1) | 1.0 = 禁用。 | | `--typical` | Locally typical | number | 0.8, 0.9, 0.95, 关闭 (1) | 1.0 = 禁用。 | | `--repeat-last-n` | 重复惩罚窗口 | number | 关闭 (0), 64, 128, 256, 512 | 0 = 禁用,-1 = 上下文长度。 | | `--repeat-penalty` | 重复惩罚 | number | 关闭 (1), 1.05, 1.1, 1.15, 1.2 | 1.0 = 禁用。 | | `--presence-penalty` | 存在惩罚 | number | 关闭 (0), 0.1, 0.3, 0.5 | 0.0 = 禁用。 | | `--frequency-penalty` | 频率惩罚 | number | 关闭 (0), 0.1, 0.3, 0.5 | 0.0 = 禁用。 | | `--dry-multiplier` | DRY 乘数 | number | | 0.0 = 禁用。 | | `--dry-base` | DRY base | number | | | | `--dry-allowed-length` | DRY 允许长度 | number | | | | `--dry-penalty-last-n` | DRY 惩罚窗口 | number | | -1 = 上下文长度。 | | `--dry-sequence-breaker` | DRY 分隔符 | text | | none = 不使用分隔符。 | | `--adaptive-target` | Adaptive-P 目标 | number | | 负数 = 禁用。 | | `--adaptive-decay` | Adaptive-P 衰减 | number | | 0.0–0.99。 | | `--dynatemp-range` | 动态温度范围 | number | | 0 = 禁用。 | | `--dynatemp-exp` | 动态温度指数 | number | | | | `--mirostat` | Mirostat 模式 | number | 关闭 (0), Mirostat (1), Mirostat 2.0 (2) | 0 禁用,1 Mirostat,2 Mirostat 2.0。 | | `--mirostat-lr` | Mirostat 学习率 | number | | | | `--mirostat-ent` | Mirostat 目标熵 | number | | | | `-l` | Token 偏置 | repeat | | 每行一个 TOKEN_ID(+/-)BIAS。 | | `--grammar` | BNF 语法 | area | | 直接粘贴语法文本。 | | `--grammar-file` | BNF 语法文件 | text | | | | `-j` | JSON Schema | area | | 直接粘贴 schema。 | | `-jf` | JSON Schema 文件 | text | | | | `-bs` | 后端采样 | flag | | 实验性。 | ## 投机解码 / Speculative decoding | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `--spec-type` | 投机解码类型 | text | | 例如 draft-simple,ngram-simple;逗号分隔。 | | `-md` | 草稿模型 | text | | 用于投机解码的 draft model。 | | `--spec-draft-hf` | 草稿模型 HF 仓库 | text | | | | `-td` | 草稿模型线程 | number | | 默认同 --threads。 | | `-tbd` | 草稿模型批处理线程 | number | | | | `-Cd` | 草稿模型 CPU 掩码 | text | | | | `-Crd` | 草稿模型 CPU 范围 | text | | | | `--spec-draft-cpu-strict` | 草稿模型严格 CPU 放置 | enum | | | | `--spec-draft-prio` | 草稿模型线程优先级 | number | | 0–3。 | | `--spec-draft-poll` | 草稿模型轮询 | enum | | | | `-Cbd` | 草稿模型批处理 CPU 掩码 | text | | | | `--spec-draft-cpu-strict-batch` | 草稿模型批处理严格放置 | enum | | | | `--spec-draft-prio-batch` | 草稿模型批处理优先级 | number | | | | `--spec-draft-poll-batch` | 草稿模型批处理轮询 | enum | | | | `-otd` | 草稿模型张量覆盖 | text | | | | `-cmoed` | 草稿模型 MoE 放 CPU | flag | | | | `-ncmoed` | 草稿模型前 N 层 MoE 放 CPU | number | | | | `--spec-draft-n-max` | 最多草稿 token | number | 1, 3, 5, 8, 16 | 默认 3。 | | `--spec-draft-n-min` | 最少草稿 token | number | | | | `--spec-draft-p-split` | 草稿拆分概率 | number | | | | `--spec-draft-p-min` | 草稿最小概率 | number | | | | `--spec-draft-backend-sampling / --no-spec-draft-backend-sampling` | 草稿后端采样 | flag | | | | `-devd` | 草稿模型设备 | text | | | | `-ngld` | 草稿模型 GPU 层数 | text | 自动 (auto), 全部 (all), 0, 16, 32, 64, 99 | 数字 / auto / all。 | | `-ctkd` | 草稿模型 K 缓存类型 | enum | | | | `-ctvd` | 草稿模型 V 缓存类型 | enum | | | | `--spec-ngram-mod-n-min` | ngram-mod 最少 token | number | | | | `--spec-ngram-mod-n-max` | ngram-mod 最多 token | number | | | | `--spec-ngram-mod-n-match` | ngram-mod 查找长度 | number | | | | `--spec-ngram-simple-size-n` | ngram-simple N | number | | | | `--spec-ngram-simple-size-m` | ngram-simple M | number | | | | `--spec-ngram-simple-min-hits` | ngram-simple 最少命中 | number | | | | `--spec-ngram-map-k-size-n` | ngram-map-k N | number | | | | `--spec-ngram-map-k-size-m` | ngram-map-k M | number | | | | `--spec-ngram-map-k-min-hits` | ngram-map-k 最少命中 | number | | | | `--spec-ngram-map-k4v-size-n` | ngram-map-k4v N | number | | | | `--spec-ngram-map-k4v-size-m` | ngram-map-k4v M | number | | | | `--spec-ngram-map-k4v-min-hits` | ngram-map-k4v 最少命中 | number | | | | `--spec-default` | 默认投机解码配置 | flag | | 启用 llama.cpp 的默认 spec 配置。 | ## HTTP 服务 / HTTP server | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `--reuse-port` | 端口复用 | flag | | 允许在同一端口绑定多个 socket。 | | `--path` | 静态文件目录 | text | | Web UI 静态资源目录。 | | `--cors-origins` | CORS 允许来源 | text | | 默认 *;localhost 表示仅本机。 | | `--cors-methods` | CORS 允许方法 | text | | | | `--cors-headers` | CORS 允许头 | text | | | | `--cors-credentials / --no-cors-credentials` | CORS 凭据 | flag | | | | `--api-prefix` | API 路径前缀 | text | | 不带结尾斜杠。 | | `--ui-config` | Web UI 默认配置 JSON | area | | | | `--ui-config-file` | Web UI 配置文件 | text | | | | `--ui-mcp-proxy / --no-ui-mcp-proxy` | Web UI MCP 代理 | flag | | 实验性;不要在不可信环境启用。 | | `--tools` | 内置 Agent 工具 | text | | 逗号分隔;all = 全部。危险,仅限可信环境。 | | `--mcp-servers-config` | MCP 服务配置 | text | | Cursor 兼容 JSON 文件路径。 | | `--mcp-servers-json` | MCP 服务内联 JSON | area | | | | `--agent / --no-agent` | Agent 模式 | flag | | 启用 CORS 代理与全部内置工具,危险。 | | `--ui / --no-ui` | Web UI | flag | | 默认开启。 | | `--api-key-file` | API Key 文件 | text | | 一行一个,可注释。 | | `--ssl-key-file` | SSL 私钥 | text | | PEM 文件。 | | `--ssl-cert-file` | SSL 证书 | text | | PEM 文件。 | | `--metrics` | Prometheus metrics | flag | | 启用 /metrics。 | | `--props` | 允许修改全局属性 | flag | | 启用 POST /props。 | | `--slots / --no-slots` | Slots 监控接口 | flag | | 默认开启。 | | `--slot-save-path` | Slot KV 缓存目录 | text | | | | `--media-path` | 媒体文件目录 | text | | 允许通过 file:// URL 访问。 | | `--models-preset` | Router 模型预设 INI | text | | | | `--models-max` | Router 同时加载模型数 | number | 1, 2, 3, 4, 8, 不限 (0) | 0 = 不限。 | | `--models-autoload / --no-models-autoload` | Router 自动加载模型 | flag | | 默认开启。 | ## 对话模板与推理 / Chat & reasoning | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `--jinja / --no-jinja` | Jinja 对话模板 | flag | | 默认开启;需在 --chat-template 之前生效。 | | `--chat-template` | Jinja 模板 | text | | 内置模板名或模板文本。 | | `--chat-template-file` | Jinja 模板文件 | text | | | | `--chat-template-kwargs` | 模板额外参数 JSON | area | | 必须是合法的 JSON 对象。 | | `--skip-chat-parsing / --no-skip-chat-parsing` | 跳过对话解析 | flag | | 即使启用 Jinja 也使用纯 content parser。 | | `--prefill-assistant / --no-prefill-assistant` | 预填充 assistant | flag | | 默认开启。 | | `--reasoning-format` | 推理内容格式 | enum | | | | `-rea` | 推理/思考模式 | optional | | auto / on / off。 | | `--reasoning-budget` | 思考 token 预算 | number | 不限 (-1), 关闭 (0), 512, 1024, 2048, 4096 | -1 不限,0 立即结束,N > 0 限制预算。 | | `--reasoning-budget-message` | 预算耗尽提示 | text | | 注入在结束思考标签之前。 | | `--reasoning-preserve / --no-reasoning-preserve` | 保留完整推理轨迹 | flag | | | | `-sp` | 输出特殊 token | flag | | | | `--warmup / --no-warmup` | 空跑预热 | flag | | 默认开启。 | | `--spm-infill` | SPM infill 模式 | flag | | Suffix/Prefix/Middle。 | | `-r` | 反向提示词 | text | | 生成到此文本时停止。 | ## 多模态 / 视觉 / Multimodal / vision | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `--image-min-tokens` | 每图最少 token | number | 256, 512, 1024 | 动态分辨率视觉模型。 | | `--image-max-tokens` | 每图最多 token | number | 1K (1024), 2K (2048), 4K (4096) | 动态分辨率视觉模型。 | | `--mtmd-batch-max-tokens` | 图像批 token 上限 | number | 512, 1024, 2048, 4096 | | | `--mmproj-auto / --no-mmproj` | 自动使用 mmproj | flag | | 默认开启;关闭等价 --no-mmproj。 | | `--mmproj-offload / --no-mmproj-offload` | mmproj GPU 卸载 | flag | | 默认开启。 | | `-mmu` | mmproj URL | text | | 多模态投影文件下载地址。 | ## 日志 / Logging | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `--log-disable` | 禁用日志 | flag | | | | `--log-file` | 日志文件 | text | | | | `--log-colors` | 日志颜色 | optional | | auto / on / off。 | | `-v` | 详细日志 | flag | | 等价于最高 verbosity。 | | `-lv` | 日志级别 | number | | 0 generic, 1 error, 2 warn, 3 info, 4 trace, 5 debug。 | | `--log-prefix / --no-log-prefix` | 日志前缀 | flag | | | | `--log-timestamps / --no-log-timestamps` | 日志时间戳 | flag | | | | `--log-prompts-dir` | Prompt 日志目录 | text | | 仅调试,包含完整对话内容。 | | `--offline` | 离线模式 | flag | | 只使用缓存,禁止联网。 | ## 官方快捷预设 / Built-in presets | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `--embd-gemma-default` | EmbeddingGemma 预设 | flag | | 会联网下载权重。 | | `--fim-qwen-1.5b-default` | Qwen2.5 Coder 1.5B | flag | | 会联网下载权重。 | | `--fim-qwen-3b-default` | Qwen2.5 Coder 3B | flag | | 会联网下载权重。 | | `--fim-qwen-7b-default` | Qwen2.5 Coder 7B | flag | | 会联网下载权重。 | | `--fim-qwen-7b-spec` | Qwen2.5 Coder 7B + draft | flag | | 会联网下载权重。 | | `--fim-qwen-14b-spec` | Qwen2.5 Coder 14B + draft | flag | | 会联网下载权重。 | | `--fim-qwen-30b-default` | Qwen3 Coder 30B A3B | flag | | 会联网下载权重。 | | `--gpt-oss-20b-default` | gpt-oss-20b | flag | | 会联网下载权重。 | | `--gpt-oss-120b-default` | gpt-oss-120b | flag | | 会联网下载权重。 | | `--vision-gemma-4b-default` | Gemma 3 4B QAT | flag | | 会联网下载权重。 | | `--vision-gemma-12b-default` | Gemma 3 12B QAT | flag | | 会联网下载权重。 | ## 已弃用(兼容) / Deprecated | Flag | UI label | Type | Presets | Notes | | --- | --- | --- | --- | --- | | `-dt` | KV 碎片整理阈值(已弃用) | number | | 新版 llama.cpp 可能忽略。 | | `--mlock` | 锁定内存(已弃用) | flag | | 改用 --load-mode mlock。 | | `--mmap / --no-mmap` | 内存映射(已弃用) | flag | | 默认开启。 | | `-dio / --no-direct-io` | DirectIO(已弃用) | flag | | 改用 --load-mode dio。 |