# LLM Test Bench **Числа вместо ощущений.** Стенд для локальных GGUF-моделей на `llama.cpp`: 12 наборов, 120 кейсов, скорость префилла и генерации, расход видеопамяти — в одном отчёте. [English](README.md) · **Русский** ![версия](https://img.shields.io/badge/версия-1.0.3-4dd4ac) ![лицензия](https://img.shields.io/badge/лицензия-MIT-blue) ![платформа](https://img.shields.io/badge/платформа-Windows%2010%2F11-lightgrey) ![Экран тестирования](docs/screenshots/testing.png) ## Что это Модель выбирают на ощупь: пять вопросов в чате, «вроде умная», готово. Через неделю выясняется, что на арифметике в четыре шага она разваливается, а что отвечала предыдущая модель на тот же вопрос — уже никто не помнит. Стенд превращает это в числа. Он прогоняет фиксированный набор тест-кейсов против модели, которая у вас уже запущена, проверяет ответы автоматически и сохраняет каждый прогон, чтобы модели можно было сравнивать покейсово. - **Проверки по правилам.** Судья-модель зовётся только там, где без неё нельзя, поэтому результат не зависит от удачи. - **Качество и скорость вместе.** Tok/s префилла и генерации, TTFT, latency и VRAM стоят в той же таблице, что и точность по наборам. - **Каждый провал виден целиком.** Не «7 из 10», а «вот три кейса, где сломалось, вот вопрос, вот ответ, вот разбор проверки». ## Как это работает Стенд не поднимает свой сервер и ничего не загружает. Модель загружает ваш лаунчер — `llama.cpp`, LM Studio, свой bat-файл, — а стенд тестирует то, что уже отвечает на `http://127.0.0.1:8080`. Ваш конфиг он не трогает. ## Что внутри 12 наборов, 120 кейсов. Каждый набор — отдельный прогон, поэтому можно взять один или прогнать все. | Набор | Кейсов | Что проверяет | |---|---:|---| | `chat_single` | 20 | одиночные вопросы: факты, формат, извлечение данных в JSON, точное умножение, честное «такого не бывает» | | `chat_multi` | 6 | удержание контекста, память через отвлекающие вопросы, давление на неверный ответ, правило из первой реплики | | `reasoning` | 8 | многошаговые цепочки, вывод порядка из условий, ловушки с лишними данными, задача без единственного ответа | | `instruction_following` | 8 | несколько ограничений сразу: длина, формат, порядок, запреты. Проверяются все условия (`all_of`) | | `robustness` | 6 | инструкция внутри данных, сикофантство, несуществующий метод, неполное и противоречивое задание, отказ | | `code` | 5 | разбор чужого кода: причина падения, вывод среза, сложность, ошибка в регексе, функция по описанию | | `agent_tools` | 10 | выбор инструмента и аргументов, два вызова в одном ответе, enum-аргумент, когда инструмент вызывать НЕ надо | | `function_calling` | 10 | валидность вызова по JSON Schema: вложенный объект, массив, enum, необязательный аргумент, отрицание | | `quality` | 8 | эталонные ответы по ключевым фактам (судья — этап 8) | | `context_long` | 10 | иголка в стоге от 2K до 128K, два похожих куска кода (взять нужно один), код по краям текста, кода нет вовсе | | `speed` | 9 | префилл от 100 до 32 000 токенов и длинная генерация: tok/s, префилл tok/s, TTFT, общее время | | `russian` | 20 | русский язык: орфография по правилам, морфология (падежи, числительные, род, ударение), смысл и идиомы, перевод в обе стороны, дисциплина формата | Типы проверок описаны в `llmtestbench/checks.py`: `contains_any`, `contains_all`, `not_contains`, `regex`, `exact_match`, `json_schema`, `tool_call`, `no_tool_call`, `all_of`, `word_count`, `set_equal`. Отложенные проверки (`llm_judge`, `embedding`) возвращают «пропуск», а не провал. ## Результаты на одной видеокарте RTX 5060 Ti 16 ГБ, 12 наборов, 120 кейсов, контекст 32768. Учтено 112 кейсов — шесть кейсов скорости не имеют критерия проверки, часть длинного контекста не влезает в 32k. | Модель | Размер | Счёт | Генерация | Префилл | VRAM | |---|---:|---:|---:|---:|---:| | Qwen3.8-27B · IQ3_S | 11.3 ГБ | **102/112 · 91.1%** | 57.5 t/s | 692 t/s | — | | gemma-4-26B-A4B · UD-Q4_K_XL | 13.3 ГБ | 101/112 · 90.2% | **96.0 t/s** | **2524 t/s** | **13 885 МиБ** | | Ornith-1.5-35B · Q4_K_M | 20.2 ГБ | 97/112 · 86.6% | 62.1 t/s | 454 t/s | — | | gemma-4-12B · QAT Q4_0 | 6.5 ГБ | 93/112 · 83.0% | 54.2 t/s | 1923 t/s | — | | Qwen3.6-27B · IQ3_XXS | 11.4 ГБ | 93/112 · 83.0% | 32.5 t/s | 748 t/s | — | Три вывода: - **12B не хуже 27B.** gemma-4-12B (6.5 ГБ) и Qwen3.6-27B (11.4 ГБ) дали одинаковые 93 из 112. За лишние пять гигабайт — ноль. - **35B проиграл 27B.** Ornith-1.5-35B в Q4 занимает 20.2 ГБ и набирает меньше обеих моделей на 26–27B, при префилле в пять раз медленнее. - **Версия решает.** На рассуждениях Qwen3.6 берёт 50%, Qwen3.8 — 100%: одни и те же восемь кейсов, одна семья моделей. *Честно про условия: Qwen3.8 гонялся с контекстом 49152, остальные — 32768; Qwen3.6 взят в IQ3_XXS, Qwen3.8 — в IQ3_S, так что часть разницы может быть из-за типа кванта. Цифры скорости — один замер на модель, а не среднее: повторный прогон gemma-4-26B дал тот же счёт 101/112, но 121 t/s генерации вместо 96 — счёт повторяется, скорость гуляет. VRAM замерен только у gemma-4-26B-A4B: тот прогон шёл через сервер, который подняло само приложение, и лог загрузки даёт 13 885 МиБ на видеокарте (13 574 веса + 84 KV-кэш + 226 вычисления), 454 МиБ host-буферов, ноль mmap, все 31 слой на карте — `nvidia-smi` сходится с этим, если посчитать накладные расходы контекста CUDA. Остальные четыре модели гонялись против поднятых извне серверов: лога загрузки у приложения для них нет, поэтому в ячейке прочерк.* ## Скачать Windows 10/11. Бесплатно, MIT, без регистрации. | | | |---|---| | **Установщик** (MSI, 60 МБ) | [LLMTestBench-1.0.3.msi](https://github.com/aleksandrreva-eng/llm-test-bench/releases/download/v1.0.3/LLMTestBench-1.0.3.msi) | | **Портативная версия** (один `.exe`) | [LLMTestBench.exe](https://github.com/aleksandrreva-eng/llm-test-bench/releases/download/v1.0.3/LLMTestBench.exe) | | **Руководство** (PDF) | [LLMTestBench-1.0.3-manual-ru.pdf](https://github.com/aleksandrreva-eng/llm-test-bench/releases/download/v1.0.3/LLMTestBench-1.0.3-manual-ru.pdf) | | **Все релизы** | [releases](https://github.com/aleksandrreva-eng/llm-test-bench/releases) | Для установщика и портативной версии Python **не нужен**. ## Запуск из исходников Python **3.13** (не 3.14 — под него у PySide6 может не быть колёс). ```bat py -3.13 -m venv .venv .venv\Scripts\python.exe -m pip install -r requirements.txt :: проверить без графики: сканирование моделей и команда запуска .venv\Scripts\python.exe main.py --selfcheck "F:\Models" :: запустить GUI Запустить.bat ``` Прогон набора из консоли против уже запущенного сервера: ```bat Прогнать-тесты.bat chat_single --report Прогнать-тесты.bat speed,chat_multi --runs 2 --report Прогнать-тесты.bat chat_single --dry-run ``` ## Что вы получаете - **История** — строка на прогон, а не на файл. Строка разворачивается на кейсы, карточка кейса показывает вопрос, ответ, рассуждение модели и разбор проверки. - **Сравнение** — прогоны столбцами, метрики строками, лучшее значение помечено. Строка разворачивается по наборам, двойной клик открывает покейсовое сравнение. Если версии наборов разные — стенд предупреждает. - **Отчёты** — HTML по прогону, тёмная и светлая темы, экспорт в CSV. - **Память** — VRAM, RAM и mmap берутся из лога загрузки `llama-server`, а не угадываются. Если в логе данных нет, отчёт честно пишет «нет данных», а не нули. ## Чем это не очередной бенчмарк `lm-evaluation-harness` отвечает «насколько модель умна вообще» — на академических датасетах. `llama-bench` меряет скорость и ничего не знает о качестве. Promptfoo тестирует промпты внутри приложения и живёт в CI. Этот стенд отвечает на другой вопрос: **как ведёт себя именно этот квант на вашей видеокарте, прямо сейчас, на ваших задачах** — и сохраняет ответ. ## Требования - Windows 10/11 - запущенный `llama-server` на `127.0.0.1:8080` (приложение может поднять его само) - для блока «Память»: сервер должен быть запущен с `-v`, чтобы в логе загрузки была раскладка слоёв ## Ссылки - [История изменений](CHANGELOG.md) - [Руководство пользователя](docs/USER_MANUAL.md) - [Подробности разработки](docs/DEVELOPMENT-ru.md) — сборка `.exe`, установщик MSI, конфигурация, проверки, структура проекта - Видео: [русский](https://youtu.be/0eJbCHqIhW0) · [english](https://youtu.be/Laa34Zas8gQ) ## Поддержка Проект бесплатный и без рекламы. Если он сэкономил вам время — [ЮMoney](https://yoomoney.ru/fundraise/1KJLC8PV82S.260929). ## Лицензия MIT. Сделано одним человеком.