UI-Venus-2

English | 简体中文

许可证 Report 网站：UI-Venus-2 GitHub 仓库 Hugging Face 模型

一个面向移动应用、Web 平台和桌面操作系统的通用基础 GUI 智能体——在单一的感知—推理—动作闭环智能体中，联合扩展环境、任务与反馈。

## 🌟 UI-Venus-2 新特性 相较于 UI-Venus-1.5，我们引入了： - 📱 **规模化的多语言移动环境：** 大幅扩展可执行移动应用池，覆盖中英文应用生态；同时采用**深度研究驱动的查询生成**策略，让任务查询以真实应用功能为依据，从而提升生成指令的准确性、有效性和可执行性。 - 🖥️ **从零构建的计算机操作能力：** 通过计算机操作数据采集和专项训练，从头构建桌面操作系统能力，使 UI-Venus 系列能够通过**一个统一的端到端智能体完成移动端、Web 和操作系统交互**。 - 🎯 **基于关键点的验证：** 不再粗略地整体观察最终画面，而是依据**与任务相关的视觉关键点**判断任务是否完成；同时通过**多模型投票**聚合不同类型的评判模型，减少单一评判模型的偏差，并增强奖励信号抵御奖励作弊（reward hacking）的能力。 - 🔄 **验证增强的反思：** 将经过验证的反馈提炼为训练中的**反思监督**，使智能体能够区分部分进展与真正完成，避免因错误理解观察结果而过早终止，并能在长程交互中恢复执行。 ---

📈 UI-Venus-2 基准测试表现

UI-Venus-2 基准测试表现

> **UI-Venus-2 在 GUI 智能体基准上的表现。** 每个面板将 UI-Venus-2-27B 和 UI-Venus-2-9B 与若干精选的强基线进行比较。我们优先选择在最接近的任务子集和步数预算下评测的独立端到端系统，但来源报告所使用的 action scaffold 仍可能存在差异。MobileWorld 使用 117 个任务、50 步设置下的纯 GUI 成功率；WebVoyager 使用更新后的 595 任务划分；Odysseys 使用 200 个任务的平均 rubric 分数；VenusBench-CAPTCHA 使用全部 219 个样例的 micro Pass@1；VenusBench-GD 使用英文指令的微平均准确率。“*”表示由我们复现的结果。 --- # 📰 最新动态 * [2026/09] 发布 **VenusBench-CAPTCHA**：一个用于评测 GUI 智能体处理多样化验证码任务能力的综合基准。参见 [VenusBench-CAPTCHA 分支](https://github.com/inclusionAI/UI-Venus/tree/VenusBench-CAPTCHA)。 * [2026/08] 发布 **UI-Venus-2**：一款 9B/27B 通用基础 GUI 智能体，通过规模化多语言环境、基于关键点的验证和验证增强的反思，统一移动端、Web 和桌面端交互。 * [2026/02] 发布 **[UI-Venus-1.5](https://ui-venus.github.io/UI-Venus-1.5/)**：一款专为稳定执行真实世界应用任务而设计的端到端 GUI 智能体。 * [2026/02] 发布 **VenusBench-Mobile**：一个具有挑战性的移动端 GUI 智能体在线基准。参见 [VenusBench-Mobile 分支](https://github.com/inclusionAI/UI-Venus/tree/VenusBench-Mobile)。 * [2025/12] 发布 [VenusBench-GD](https://ui-venus.github.io/VenusBench-GD/)：一个全面的多平台 GUI 定位基准。参见 [VenusBench-GD 分支](https://github.com/inclusionAI/UI-Venus/tree/VenusBench-GD)。 * [2025/8] 发布 **[UI-Venus](https://github.com/inclusionAI/UI-Venus/tree/UI-Venus-1.0)**：我们的第一版 UI 智能体模型。 --- # 🧭 目录 * [演示](#-演示) * [Venus 框架](#-venus-框架) * [快速开始](#-快速开始) * [基准测试结果](#-基准测试结果) * [联系方式](#-联系方式) * [引用](#-引用) --- # ✨ 演示 [查看更多演示](https://ui-venus.github.io/UI-Venus-2/#demos) UI-Venus-2 移动端演示 --- # 🛠 Venus 框架 我们提供了两套用于在真实环境中运行智能体的框架： | 框架 | 说明 | 文档 | |---|---|---| | 移动端框架 | 基于 Android/ADB 的智能体框架，支持单任务执行、多设备批量执行、轨迹记录和反思。 | [中文](./Venus_framework/Venus_framework_mobile/README_CN.md) · [English](./Venus_framework/Venus_framework_mobile/README.md) | | 浏览器插件 | 一款 Chrome 侧边栏扩展，可将 UI-Venus 连接到当前浏览器标签页并以交互方式执行浏览器任务。 | [中文](./Venus_framework/Venus_plugin_browser/README_CN.md) · [English](./Venus_framework/Venus_plugin_browser/README.md) | 目录结构和入口说明请参阅 [Venus 框架概览](./Venus_framework/README_CN.md)。除非各示例的要求另有说明，否则下方的轻量级领域示例无需依赖这两套框架。 --- # 🚀 快速开始 ### 安装 ```bash conda create -n ui-venus-2 python=3.11 -y conda activate ui-venus-2 pip install -r requirements.txt ``` 需要 Python 3.10 或更高版本。以下所有命令均在仓库根目录执行。通过 `MODEL_URL`、`MODEL_NAME` 以及 `API_KEY` 或 `MODEL_API_KEY` 配置兼容 OpenAI 接口的模型服务；也可以在各领域脚本顶部修改相同配置。同时设置两个密钥变量时，`API_KEY` 的优先级更高。请将 `MODEL_NAME` 设置为部署 UI-Venus-2 9B 或 27B 模型时使用的服务名称。 ### 移动端 使用仓库内预先录制的截图序列运行多轮推理。`N_IMG` 用于控制保留最近多少张历史截图： ```bash MODEL_URL=http://127.0.0.1:8000/v1 \ MODEL_NAME=UI-Venus-2 \ N_IMG=2 \ bash scripts/mobile.sh ``` 此示例仅执行模型推理，不会在设备上执行操作。如需通过 ADB 自动操作真实设备，请使用上方的移动端框架。 [移动端多轮示例及输入/输出格式](./models/mobile/README_CN.md) ### 计算机 使用预先录制的桌面截图序列运行多轮计算机操作推理： ```bash MODEL_URL=http://127.0.0.1:8000/v1 \ MODEL_NAME=UI-Venus-2 \ N_IMG=2 \ bash scripts/computer.sh ``` 默认命令使用仓库内附带的桌面截图样例。该独立示例会校验并规范化模型操作，但不会在宿主机上执行这些操作；运行时也不依赖 OSWorld。 [计算机多轮示例及操作格式](./models/computer/README_CN.md) ### 浏览器 按照领域文档的说明，以 CDP 端口启动 Chrome，然后运行一个自然语言浏览器任务： ```bash MODEL_URL=http://127.0.0.1:8000/v1 \ MODEL_NAME=UI-Venus-2 \ bash scripts/browser.sh "打开 https://example.com 并报告页面标题" ``` [浏览器用法及 CDP 配置](./models/browser/README.md) ### 定位 在仓库内附带的三个样例上运行直接定位评测： ```bash MODEL_URL=http://127.0.0.1:8000/v1 \ MODEL_NAME=UI-Venus-2 \ bash scripts/grounding.sh ``` [定位评测、冒烟测试及基准配置](./models/grounding/README.md) ### CAPTCHA 对仓库内附带的 CAPTCHA 图片运行推理，并将解析后的 JSON 和可视化结果保存到 `results/captcha/`： ```bash MODEL_URL=http://127.0.0.1:8000/v1 \ MODEL_NAME=UI-Venus-2 \ bash scripts/captcha.sh ``` [CAPTCHA 用法、提示词、操作格式及可视化](./models/captcha/README_CN.md) --- # 📊 基准测试结果 ### Mobile
Models MobileGym VenusBench‑Mobile AndroidWorld MobileWorld KnowUBench MemGUI
General VLMs
Qwen3.5‑9B 9.0* 15.3* 57.8 18.0 (18.0)* 33.3 6.2*
Qwen3.6‑27B 24.6* 28.0* 70.3 36.8 (41.9)* - 25.7*
Claude‑Opus‑4.6 - 36.5* - 44.5 - -
Kimi‑K2.6 38.7* 31.2* - 55.6 - 39.1
Kimi‑K3 - - - 74.4 - -
Seed‑2.0‑Pro 52.0 20.1* - 63.2 51.6 65.6*
Seed‑2.1‑Pro - - - 73.2 - -
GPT‑5.6‑Sol - - - 70.1 - -
GUI‑specific Models
UI‑Venus‑1.5‑8B 18.4* 16.1 73.7 22.2* 26.0 3.9*
UI‑Venus‑1.5‑30B‑A3B 21.5* 21.5 77.6 17.1 - 10.9*
GUI‑Owl‑1.5‑32B‑Instruct 20.3* - 69.8 43.9 - 10.9
MAI‑UI‑8B 21.5* 12.7 70.7 27.5 26.0 17.2*
Qwen‑UI‑Agent‑27B - - - 82.1 (85.5) - -
Ours
UI‑Venus‑2‑9B 52.7 46.5 80.2 65.8 (75.2) 56.5 62.6
UI‑Venus‑2‑27B 60.5 48.7 84.0 76.1 (82.9) 59.7 70.3
> 各类移动端 GUI 基准的性能对比。VenusBench-Mobile 报告其 149 个任务主池上的成功率。MobileWorld 报告 117 个纯 GUI 任务在 50 步设置下的成功率；括号中的数值（如有）使用 100 步设置。MemGUI 报告主结果的 Pass@1。`*` 表示由我们评测或复现的基线结果。 ### Computer
Models OSWorld‑Verified DeskCraft
General VLMs
Claude‑Opus‑4.8 83.4 -
Qwen3.5‑9B 41.8 14.6*
Qwen3.6‑27B 62.0 28.7*
Kimi‑K2.6 73.1 41.4*
Seed‑2.0‑Pro 62.3 40.0*
Seed‑2.1‑Pro 78.8 -
GPT‑5.5 78.7 -
GUI‑specific Models
GUI‑Owl‑1.5‑32B‑Instruct 56.5 -
Qwen‑UI‑Agent‑27B 79.5 -
Ours
UI‑Venus‑2‑9B 70.8 48.0
UI‑Venus‑2‑27B 80.5 55.5
Models Binary Acc. Partial Score
General VLMs
GPT‑5.5 13.0 46.7
Claude‑Opus‑4.7 4.6 20.3
Claude‑Sonnet‑4.6 (max) 4.6 20.0
Claude‑Sonnet‑4.6 (medium) 4.6 14.2
MiniMax‑M3 1.9 8.2
Kimi‑K2.6 1.9 7.1
Qwen3.5‑9B 0.0* 2.5*
Qwen3.6‑27B 0.0* 3.8*
Seed‑2.0‑Pro 0.0* 6.3*
Ours
UI‑Venus‑2‑9B 0.0 7.5
UI‑Venus‑2‑27B 2.8 13.2
> 计算机使用智能体基准的性能对比：左侧为 **OSWorld-Verified** 和 **DeskCraft**，右侧为官方 150 步预算、108 个任务设置下的 **OSWorld 2.0**。OSWorld-Verified 基线采用其引用来源中的 361 个任务设置，并可能使用各模型特定的 action scaffold。对于 DeskCraft，我们报告 Standard 和 Interactive 两个划分合计 538 个任务上由作者评测的汇总结果；这一口径与基准官方按划分报告的方式不同。OSWorld 2.0 报告官方 Binary Accuracy 和 Partial Score 指标；基线取自官方排行榜，可能采用各模型特定的工具设置，对于存在多个官方条目的模型，括号中标注 reasoning-effort 设置。`*` 表示由我们评测的基线结果。 ### Browser
Models WebVoyager Online‑Mind2Web REAL Odysseys
Avg. Perfect
General VLMs
Qwen3.5‑9B 46.9* 27.3* 18.2* 42.6* 13.5*
Qwen3.5‑4B - - - 42.9 10.7
Qwen3.6‑27B 84.3* 55.3* 27.3* 39.5* 18.5*
OpenAI Operator 87.0 61.3 - - -
GPT‑5 (SoM) 90.6 - - - -
GPT‑5.4 - - - 55.4 33.5
Seed2.0 Pro 85.1* 68.5* 74.4* 60.2* 30.1*
GLM‑5V‑Turbo 88.5 - - - -
Claude Opus 4.6 88.0 - - 68.9 44.5
Claude‑Sonnet‑4.6 - - - 49.8 31.0
Kimi‑K2.6 76.8* - 74.4* - -
GUI‑specific Models
UI‑TARS‑1.5 84.8 75.8 - - -
UI‑Venus‑1.5‑30B‑A3B 76.0 - 38.0* - -
GUI‑Owl‑1.5‑32B‑Thinking 82.1 - 44.6* - -
MolmoWeb‑8B 78.2 35.3 - - -
Fara1.5‑4B 80.8 - - - -
Fara1.5‑9B 86.6 63.4 - - -
Fara1.5‑27B 89.3 72.3 - - -
Ours
UI‑Venus‑2‑9B 90.8 74.0 76.9 77.3 62.0
UI‑Venus‑2‑27B 93.4 78.3 80.2 80.4 66.3
> 四个实时网页基准（WebVoyager、Online-Mind2Web、REAL 和 Odysseys）的性能对比。Fara1.5 和 GPT-5 (SoM) 的 WebVoyager 结果采用更新后的 595 个任务、100 步 robust protocol，并取三次运行的平均值；在线网站状态可能随评测日期变化。对于 Odysseys，我们同时报告平均评分（Avg.）和满分评分（Perfect）。`*` 表示由我们复现的结果。 ### Grounding
Models VenusBench‑GD ScreenSpot‑Pro OSWorld‑G‑R UI‑Vision
General VLMs
Qwen 3.7 Plus 75.2* 68.9 78.2 68.0
Seed 2.1 Pro 73.9* 65.3 78.0 62.0
Kimi‑K2.6 73.1* 52.0* 69.7* 51.7*
Qwen3.6‑27B 67.7* 65.2* 76.9* 58.3*
GUI‑specific Models
UI‑Venus‑Ground‑72B 70.2 61.9 69.5 36.8
Holo2‑30B‑A3B 59.5* 66.1 76.1 40.9*
Step‑GUI‑4B 54.6* 60.0 66.9 30.0*
MAI‑UI‑8B 65.2* 65.8 68.6 40.7
MAI‑UI‑32B - 67.9 73.9 47.1
UI‑Venus‑1.5‑30B‑A3B 75.0 69.6 76.4 54.7
Qwen‑UI‑Agent‑27B - 76.6 78.5 70.0
Ours
UI‑Venus‑2‑9B 77.1 73.0 78.5 53.2
UI‑Venus‑2‑27B 80.1 74.1 79.1 66.9
> 各类定位基准的性能对比。VenusBench-GD 报告英文指令下的 point-in-box 微平均准确率。`*` 表示由我们评测或复现的基线结果。 ### CAPTCHA
Models VenusBench‑CAPTCHA MCA‑Bench Spatial‑CAPTCHA‑Bench NextGen‑CAPTCHAs Open CaptchaWorld
General VLMs
Qwen3.5‑9B 28.3 30.4 4.9 2.8 36.4
Qwen3.6‑27B 53.0 51.7 31.0 14.1 47.7
Seed‑2.0‑Pro 47.9 36.5 43.8 20.4 55.6
Kimi‑K2.6 39.7 38.7 24.8 7.2 47.8
Claude‑Opus‑4.6 16.0 25.9 9.5 2.8 23.3
Ours
UI‑Venus‑2‑9B 78.1 75.7 42.8 47.6 50.7
UI‑Venus‑2‑27B 79.9 79.6 48.6 54.5 56.3
> CAPTCHA 基准性能对比。所有结果均为 Pass@1 百分比，数值越高越好。我们在 VenusBench-CAPTCHA 以及 MCA-Bench、Spatial-CAPTCHA-Bench、NextGen-CAPTCHAs 和 Open CaptchaWorld 四个公开基准上进行评测。评测采用从 MCA-Bench 中抽取的 1,000 个样例、NextGen-CAPTCHAs 的 15 种任务类型，以及 Open CaptchaWorld 的 16 种任务类型。 --- # 📬 联系方式 如有任何问题或合作意向，请联系项目维护者。 --- # 📚 引用 ```bibtex # UI-Venus-2 @misc{venusteam2026uivenus2technicalreport, title={UI-Venus-2 Technical Report}, author={Venus Team and Zhuohan Cai and Haoxing Chen and Jiaxuan Chen and Weizhi Chen and Changlong Gao and Zhangxuan Gu and Yuan Guo and Yusong Hu and Jianrong Jiang and Jianguo Li and Runze Li and Jinzhen Lin and Zhenyu Ma and Changhua Meng and Han Peng and Xinyu Qiu and Shuheng Shen and Zhongyi Shui and Weiqiang Wang and Ming Wen and Zhuoer Xu and Hang Yan and Kaiwen Yang and Ruilin Yao and Nanjun Yu and Zhengwen Zeng and Lianrui Zhang and Yunzhu Zhang and Zhe Zhao and Beitong Zhou}, year={2026}, eprint={2609.00028}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2609.00028}, } # UI-Venus-1.5 @misc{venusteam2026uivenus15technicalreport, title={UI-Venus-1.5 Technical Report}, author={Venus-Team and Changlong Gao and Zhangxuan Gu and Yulin Liu and Xinyu Qiu and Shuheng Shen and Yue Wen and Tianyu Xia and Zhenyu Xu and Zhengwen Zeng and Beitong Zhou and Xingran Zhou and Weizhi Chen and Sunhao Dai and Jingya Dou and Yichen Gong and Yuan Guo and Zhenlin Guo and Feng Li and Qian Li and Jinzhen Lin and Yuqi Zhou and Linchao Zhu and Liang Chen and Zhenyu Guo and Changhua Meng and Weiqiang Wang}, year={2026}, eprint={2602.09082}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2602.09082}, } # UI-Venus @misc{gu2025uivenustechnicalreportbuilding, title={UI-Venus Technical Report: Building High-performance UI Agents with RFT}, author={Zhangxuan Gu and Zhengwen Zeng and Zhenyu Xu and others}, year={2025}, eprint={2508.10833}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2508.10833}, } ``` --- # ⚖️ 许可证 本项目仅供研究和教育用途。