# SenseNova-U1.5-8B-MoT
English | 简体中文
SenseNova-U1.5-8B-MoT 是当前的 U1.5 模型。它基于 NEO-unify 架构,支持文生图、图像编辑、图文交错生成和视觉理解。[U1.5 论文](https://arxiv.org/abs/2609.11929)介绍了空间重建、最高原生 4K 分辨率,以及文字渲染和图像编辑方面的改进。 ## 模型权重 - **U1.5 权重**:[Hugging Face](https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT) · [ModelScope](https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoT)。本仓库当前的示例以这个模型为起点。 - **U1.5 Preview**:[Preview 指南](u1.5_preview_CN.md)。Preview 使用独立权重,应参考对应的模型卡和示例。 其他 U1 和 U1.5 权重见[模型目录](models_CN.md)。 ## 运行 U1.5 单卡先用 `--vram_mode balanced`。机器可按 **24 GB 显存、64 GB 系统内存**规划,并尽量保持空闲。32 GB RTX 5090 上的 8 步实测中,`balanced` 的 PyTorch reserved 显存峰值为 15.17 GiB;`balanced` 和 `low` 的进程 CPU RSS 峰值约 52.2 GiB。 先按[安装指南](installation_CN.md)配置共用的 Python 环境。然后从仓库根目录下载 U1.5 并生成首图: ```bash hf download sensenova/SenseNova-U1.5-8B-MoT \ --local-dir ./models/SenseNova-U1.5-8B-MoT python examples/t2i/inference.py \ --model_path ./models/SenseNova-U1.5-8B-MoT \ --prompt "A cinematic mountain lake at sunrise, realistic photography." \ --width 2048 --height 2048 --num_steps 50 \ --vram_mode balanced --attn_backend sdpa \ --output output.png ``` [任务示例](../examples/README_CN.md)保留完整的 CLI 参数说明。下面是其他任务使用 U1.5 的最短命令。 ### 图像编辑 ```bash python examples/editing/inference.py \ --model_path ./models/SenseNova-U1.5-8B-MoT \ --prompt "Change the jacket of the person on the left to bright yellow." \ --image examples/editing/data/images/1.webp \ --num_steps 50 --vram_mode balanced --attn_backend sdpa \ --output edited.png ``` ### 图文交错生成 ```bash python examples/interleave/inference.py \ --model_path ./models/SenseNova-U1.5-8B-MoT \ --prompt "Give me an illustrated tutorial for making tomato and egg stir-fry." \ --resolution "16:9" --max_images 1 \ --vram_mode balanced --attn_backend sdpa \ --output_dir outputs/interleave --stem tutorial ``` ### 视觉问答 ```bash python examples/vqa/inference.py \ --model_path ./models/SenseNova-U1.5-8B-MoT \ --image examples/vqa/data/images/menu.jpg \ --question "Which dishes would make a balanced meal for two people?" \ --vram_mode balanced --attn_backend sdpa \ --output outputs/menu_answer.txt ``` ### 8 步 V2 LoRA [V2 LoRA 适配器](https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-LoRAs/blob/main/SenseNova-U1.5-8B-MoT-LoRA-8step-V2.safetensors)需要搭配 **U1.5**,不能单独运行,也不适用于 Preview。下载后将本地文件传给 `--lora_path`: ```bash hf download sensenova/SenseNova-U1.5-8B-MoT-LoRAs \ SenseNova-U1.5-8B-MoT-LoRA-8step-V2.safetensors \ --local-dir ./models/SenseNova-U1.5-8B-MoT-LoRAs python examples/t2i/inference.py \ --model_path ./models/SenseNova-U1.5-8B-MoT \ --lora_path ./models/SenseNova-U1.5-8B-MoT-LoRAs/SenseNova-U1.5-8B-MoT-LoRA-8step-V2.safetensors \ --prompt "A cinematic mountain lake at sunrise, realistic photography." \ --width 2048 --height 2048 --num_steps 8 --cfg_scale 1.0 \ --vram_mode balanced --attn_backend sdpa --output output_lora.png ``` 编辑和图文交错生成见[任务示例](../examples/README_CN.md),使用相同的 LoRA 路径、8 步和 CFG 1.0。 ## 分辨率 快速开始使用 2048 × 2048。U1.5 支持最高原生 4K;指定尺寸时,同时传入 `--width` 和 `--height`,且两者都应为 32 的倍数。编辑命令省略这两个参数时,会根据首张输入图推导输出尺寸。[推理记录](u1.5_inference_CN.md)列出了已经测量的配置。 ## 效果案例 [U1.5 效果展示](u1.5_showcases_CN.md)收录生成与编辑图片及其提示词。需要补充复杂需求时,可选用[提示词增强](u1.5_best_practices_CN.md)。 ## 评测与运行记录 [评测概览](assets/benchmarks/u1.5_radial.webp)、[详细结果](assets/benchmarks/u1.5_combined.webp)和[效果与速度图](assets/u15_perform_vs_speed_6bench.webp)展示公开评测。 [U1.5 显存与 8 步耗时](u1.5_inference_CN.md)记录了 RTX 5090 和共享 H100 分配器限额下的文生图、编辑与单图图文交错生成结果。 ## 已知限制 U1.5 仍可能写错密集、小号或中英混排的文字;要求精确计数、对齐和层级的版式也需要检查。小人脸、手部和肢体细节可能不稳定。大范围、多轮或多参考图编辑中,未修改区域有时会发生漂移。部分提示词会让细节或颜色过强,此时可尝试逐步降低 `cfg_scale`。 架构和训练细节见 [U1.5 技术报告](pdf/SenseNOVA_U1_5.pdf)与[论文](https://arxiv.org/abs/2609.11929)。