Step 3.5 Flash

English  |  简体中文

OpenClaw 指南  |  Claude Code 指南  |  Roo Code 指南  |  本地 Agent 指南

\ --served-model-name step3p5-flash \ --tensor-parallel-size 8 \ --enable-expert-parallel \ --disable-cascade-attn \ --reasoning-parser step3p5 \ --enable-auto-tool-choice \ --tool-call-parser step3p5 \ --hf-overrides '{"num_nextn_predict_layers": 1}' \ --speculative_config '{"method": "step3p5_mtp", "num_speculative_tokens": 1}' \ --trust-remote-code \ --quantization fp8 ``` - bf16 模型： ```bash vllm serve \ --served-model-name step3p5-flash \ --tensor-parallel-size 8 \ --enable-expert-parallel \ --disable-cascade-attn \ --reasoning-parser step3p5 \ --enable-auto-tool-choice \ --tool-call-parser step3p5 \ --hf-overrides '{"num_nextn_predict_layers": 1}' \ --speculative_config '{"method": "step3p5_mtp", "num_speculative_tokens": 1}' \ --trust-remote-code ``` ### 6.2 SGLang 1. 安装 SGLang。 ```bash # 通过 Docker docker pull lmsysorg/sglang:latest # 或从源码安装（pip） pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git" ``` 2. 启动服务。 - bf16 模型： ```bash SGLANG_ENABLE_SPEC_V2=1 sglang serve \ --model-path \ --served-model-name step3p5-flash \ --tp 8 \ --tool-call-parser step3p5 \ --reasoning-parser step3p5 \ --speculative-algorithm EAGLE \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --mem-fraction-static 0.8 \ --host 0.0.0.0 \ --port 8000 ``` - fp8 模型： ```bash SGLANG_ENABLE_SPEC_V2=1 sglang serve \ --model-path \ --served-model-name step3p5-flash \ --tp 8 \ --ep 8 \ --tool-call-parser step3p5 \ --reasoning-parser step3p5 \ --speculative-algorithm EAGLE \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --mem-fraction-static 0.8 \ --host 0.0.0.0 \ --port 8000 ``` ### 6.3 Transformers（调试/验证） 使用此代码段进行快速功能验证。如需高吞吐量服务，请使用 vLLM 或 SGLang。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer MODEL_PATH = "" # 1. 设置 tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH) model = AutoModelForCausalLM.from_pretrained( MODEL_PATH, trust_remote_code=True, torch_dtype="auto", device_map="auto", ) # 2. 准备输入 messages = [{"role": "user", "content": "解释数字42的意义。"}] inputs = tokenizer.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) # 3. 生成 generated_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False) output_text = tokenizer.decode(generated_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True) print(output_text) ``` ### 6.4 llama.cpp #### 系统要求 - GGUF 模型权重（int4）：111.5 GB - 运行时开销：~7 GB - 最小显存：120 GB（如 Mac Studio、DGX-Spark、AMD Ryzen AI Max+ 395） - 推荐：128GB 统一内存 #### 说明 - llama.cpp 使用版本需包含以下 [PR #19283](https://github.com/ggml-org/llama.cpp/pull/19283) - 如果在使用中出现tool call相关问题，可以尝试 [PR #18675](https://github.com/ggml-org/llama.cpp/pull/18675) - 此外还有社区的一些不错的量化版本: [Step-3.5-Flash Quant Collection](https://huggingface.co/ubergarm/Step-3.5-Flash-GGUF#quant-collection) #### 步骤 1. 使用官方 llama.cpp: > `Step-3.5-Flash/tree/main/Llama.cpp` 已废弃 ```bash git clone https://github.com/ggml-org/llama.cpp cd llama.cpp ``` 3. Mac 上构建 llama.cpp： ```bash cmake -S . -B build-macos \ -DCMAKE_BUILD_TYPE=Release \ -DGGML_METAL=ON \ -DGGML_ACCELERATE=ON \ -DLLAMA_BUILD_EXAMPLES=ON \ -DLLAMA_BUILD_COMMON=ON \ -DGGML_LTO=ON cmake --build build-macos -j8 ``` 4. DGX-Spark 上构建 llama.cpp： ```bash cmake -S . -B build-cuda \ -DCMAKE_BUILD_TYPE=Release \ -DGGML_CUDA=ON \ -DGGML_CUDA_GRAPHS=ON \ -DLLAMA_CURL=OFF \ -DLLAMA_BUILD_EXAMPLES=ON \ -DLLAMA_BUILD_COMMON=ON cmake --build build-cuda -j8 ``` 5. AMD Windows 上构建 llama.cpp： ```bash cmake -S . -B build-vulkan \ -DCMAKE_BUILD_TYPE=Release \ -DLLAMA_CURL=OFF \ -DGGML_OPENMP=ON \ -DGGML_VULKAN=ON cmake --build build-vulkan -j8 ``` 6. 使用 llama-cli 运行： ```bash ./llama-cli -m step3.5_flash_Q4_K_S.gguf -c 16384 -b 2048 -ub 2048 -fa on --temp 1.0 -p "你叫什么名字？" ``` 7. 使用 llama-batched-bench 测试性能（[Benchmark details](llama.cpp/docs/step3.5-flash_zh.md)）： ```bash ./llama-batched-bench -m step3.5_flash_Q4_K_S.gguf -c 32768 -b 2048 -ub 2048 -npp 0,2048,8192,16384,32768 -ntg 128 -npl 1 ``` ## 7. Agent框架接入 > **注意：** 如[快速上手](#5-快速上手)中所述，您可以通过 **OpenRouter** 或 **阶跃星辰开放平台** 访问 Step 3.5 Flash。配置 Agent 时，请选择对应平台的 Base URL 和 API Key。 ### 7.1 OpenClaw [OpenClaw](https://openclaw.ai) 是一个强大的智能体平台，可与 Step 3.5 Flash 无缝协作。 **快速设置：** 1. **安装：** `curl -fsSL https://openclaw.ai/install.sh | bash` 2. **初始化：** 运行 `openclaw onboard`。 3. **配置：** 在 WebUI (`Config` -> `Models`) 中添加新提供商： - **类型：** `openai-completions` -> **Base URL：** `https://api.stepfun.ai/v1` - **模型 ID：** `step-3.5-flash` (Context: `256000`) 如需完整指南，请查看我们的 [OpenClaw Cookbook](./cookbooks/openclaw)。 ### 7.2 Claude Code 您可以通过修改配置让 [Claude Code](https://docs.anthropic.com/en/docs/agents-and-tools/claude-code/overview) 使用 Step 3.5 Flash。 **更新 `~/.claude/settings.json`：** ```json { "env": { "ANTHROPIC_AUTH_TOKEN": "YOUR_STEPFUN_API_KEY", "ANTHROPIC_BASE_URL": "https://api.stepfun.ai/" //中国国内接口请使用"https://api.stepfun.com/" }, "model": "step-3.5-flash" } ``` > **注意：** 如需更高级的路由或 OpenAI 风格的用法，我们推荐使用 [claude-code-router](https://github.com/musistudio/claude-code-router)。 ### 7.3 OpenAI Codex (CLI) 要在 `@openai/codex` CLI 中使用 Step 3.5 Flash，请更新您的 `~/.codex/config.toml`： ```toml model="step-3.5-flash" model_provider = "stepfun-chat" preferred_auth_method = "apikey" [model_providers.stepfun-chat] name = "OpenAI using response" base_url = "https://api.stepfun.ai/v1" env_key = "OPENAI_API_KEY" wire_api = "chat" ``` ### 7.4 Step-DeepResearch Step 3.5 Flash 为 Step-DeepResearch 提供核心推理能力。 要使用它，只需在您的 `.env` 文件中将 `MODEL_NAME` 设置为 `Step-3.5-Flash`。 查看 [Step-DeepResearch 仓库](https://github.com/stepfun-ai/StepDeepResearch) 获取完整安装说明。 ## 8. 已知问题与未来方向 1. **Token 效率**： Step 3.5 Flash 虽然实现了前沿的智能体能力，但目前相比 Gemini 3.0 Pro，仍需更长的生成轨迹才能达到同等的质量水平。 2. **高效的全能精通**： 我们的目标是将通用模型的多面性与深度的领域专业知识相统一。为高效实现这一目标，我们正在推进“策略在线蒸馏”的变体研究，使模型能以更高的样本效率内化专家行为。 3. **面向更多智能体任务的强化学习**： 尽管 Step 3.5 Flash 在学术界的智能体基准测试中表现出很强的竞争力，但智能体 AI 的下一个前沿领域，要求将强化学习应用于专业工作、工程和研究中更为错综复杂的专家级任务。 4. **适用范围与限制**： Step 3.5 Flash 专为编程和以工作为中心的任务量身定制，但在遭遇“分布偏移”时稳定性可能会下降。这通常发生在高度专业化的领域或长周期的多轮对话中，模型可能会表现出重复推理、中英混杂输出，或在时间与身份认知上出现不一致。 ## 9. 共创未来 我们将路线图视为持续发展的文档，会基于实际使用和开发者反馈不断演进。 在拓展模型能力、探索 AGI 未来的过程中，我们需要确保解决正确的问题。我们非常期待您的参与，您的反馈将直接决定我们的优先级。 - **加入阶跃星辰开发者社群**： ✨ 前沿资讯 + 免费Token + 工程师答疑 + 模型共创。 - **报告遇到的问题**： 如果发现模型局限或遇到问题，既可以在 GitHub 上提 Issue，也可以直接在群里反馈。 - 扫码即刻加入 👇

## License 本项目采用 [Apache 2.0 License](https://www.apache.org/licenses/LICENSE-2.0) 开源。