# Changelog Формат по [Keep a Changelog](https://keepachangelog.com/ru/1.0.0/). ## [Unreleased] ## [1.0.3] — 2026-10-01 ### Изменено - **Набор `speed` теперь меряет и генерацию, а не только префилл.** Инструкция у всех шести кейсов просила ответить одним предложением, ответ выходил в 20–40 токенов, и `tokens_per_sec` считался по шуму — при этом в `manifest.json` метрикой был объявлен именно `tokens_per_sec`. Добавлены три кейса (`speed_gen_200/600/1200`): префилл у них одинаковый и короткий (512 токенов), различается только длина ответа — просьба написать 200, 600 и 1200 слов. Набор `speed` — версия `3.0.0`, кейсов 9. - В `manifest.json` набора `speed` в `metrics` добавлен `prompt_tokens_per_sec`: префилл — главная метрика этого набора, а объявлен не был. - **Установщик при удалении убирает папку приложения целиком.** Приложение портативное: рядом с `.exe` оно создаёт `config.json`, `logs/`, `results/`, `reports/`, `sessions/`, `history.db`, `tests/` и `.cache/`. MSI их не ставил и сам не убирал, поэтому после удаления папка оставалась со всем этим хозяйством. Теперь дерево сносит `util:RemoveFolderEx`. Путь к папке запоминается в реестре при установке (`HKCU\Software\LLMTestBench\InstallDir`) и читается обратно при удалении: `RemoveFolderEx` требует, чтобы свойство с путём было заполнено до `CostInitialize`, а подставлять идентификатор каталога (`INSTALLFOLDER`) он прямо запрещает. Обновление поверх старой версии рабочие папки **не трогает** — за это отвечает условие `NOT UPGRADINGPRODUCTCODE`. Проверено установкой и удалением: после удаления папки нет; при обновлении 1.0.2 → 1.0.3 `config.json`, `history.db` и `results/` переживают обновление. Оговорка: удалять надо при закрытом приложении — иначе MSI не сможет удалить `logs\app.log` и откатит удаление (ошибка 1306). ### Добавлено - Генератор `PromptBuilder.speed_generate()` и шаблон `SPEED_GENERATE_TEMPLATE`. Ветка выбирается по полю кейса `answer_words`; имя генератора осталось одно (`lorem_by_tokens`) — правило «у набора один генератор» в `check_generators.py` не нарушено. - `check_generators.py`: проверка кейсов генерации. Ловит опечатку в ключе `answer_words` (кейс тихо собирался бы как префилл-кейс), бюджет ответа меньше заявленной длины и порог `min` ниже границы измеримости (`MIN_MEASURABLE_WORDS = 150` — это ~330 токенов, где накладные расходы на первый токен дают около 8% погрешности). ### Исправлено - `run_tests.py`: строка «Средние метрики» печаталась только у набора без счёта и пропадала, как только у набора появлялся хоть один проверяемый кейс. Теперь она печатается всегда, когда есть что показать. - `__version__` поднята до `1.0.3` — без этого копия наборов рядом с `.exe` не перезалилась бы и новых кейсов в установленном приложении не появилось. ### Замерено (gemma-4-26B-A4B-it-qat-UD-Q4_K_XL, префилл 530 токенов) | кейс | просили | получили | токенов выхода | скорость | |---|---|---|---|---| | `speed_gen_200` | 200 слов | 253 | 491 | 93.2 t/s | | `speed_gen_600` | 600 слов | 627 | 1337 | 93.7 t/s | | `speed_gen_1200` | 1200 слов | 780 | 1809 | 93.6 t/s | Модель останавливается сама, не дотягивая до больших просьб, — поэтому порог `min` у всех трёх кейсов один (150 слов) и отвечает на вопрос «замер достоверен», а не «модель выполнила просьбу по длине». ## [1.0.2] — 2026-10-01 ### Исправлено - **Копия наборов тестов рядом с `.exe` не обновлялась при обновлении приложения.** Папка `tests` раскладывалась один раз — «копируем, если папки ещё нет», — поэтому после установки новой версии в окне оставались наборы прошлой: новый набор в списке не появлялся, изменённые не обновлялись, хотя в бандле лежали правильные. Теперь в копию пишется версия приложения (`.bundle-version`), и при расхождении она раскладывается заново, а прежняя откладывается в `tests.backup-<версия>-<дата>` — правки, сделанные в редакторе тестов, не пропадают. Копии без штампа (сделанные сборками до 1.0.2) считаются устаревшими и перезаливаются при первом запуске. - `__version__` поднята до `1.0.2`. ### Добавлено - Проверка `check_frozen_copy` в `check_testsets.py`: три состояния копии наборов — первый запуск, повторный (правки не затираются) и смена версии (перезалив с сохранением прежней копии в backup). ## [1.0.1] — 2026-10-01 ### Добавлено - Проверка занятости сервера перед прогоном (`LocalAgent.server_busy()`). У сборки один слот (`total_slots: 1`), поэтому чужой запрос — например, от контент-фермы на той же машине — встаёт впереди наших, и скорости показывают скорость очереди, а не модели; первым врёт префилл. Перед стартом интерфейс спрашивает `/slots` и, если слот занят или между двумя пробами сменился `id_task`, показывает предупреждение с выбором «Продолжить / Отмена». Факт занятости пишется в `params.server_busy` прогона, поэтому недостоверные замеры отличимы от достоверных задним числом. Если `/slots` недоступен (сборка без `--slots`), приложение молчит — «не удалось спросить» и «свободен» не смешиваются. - Кэш вердиктов судьи (`.cache/judge_cache.json`, ключ `judge_cache` в `config.json`). Ключ записи — хеш сообщений, температуры, бюджета ответа и имени модели-судьи; кэшируются только успешные вердикты. Потолок — 5000 записей. Число попаданий и промахов пишется в `logs/app.log` в конце набора. - Прогрев сервера перед прогоном (`LocalAgent.warmup()`, ключ `warmup`). Первый запрос после загрузки модели дороже последующих, и без прогрева этот выброс попадал в первый кейс набора — а в наборе `speed` он измеряемый. - Ключ `cache_dir` в `config.json`: где держать кэши (пусто — `.cache` рядом с приложением). Нужен проверкам, которые подставляют временную папку и не должны трогать рабочий кэш проекта. - `check_database.py` — проверка обёртки SQLite: запись, чтение, фильтр, каскадное удаление `case_results`, откат при сбое. - Запись о том, чем поднят сервер, в `params.server` прогона (`applied`, `command`, `note`). Скорость решают флаги запуска (`--load-mode`, `-ot`, `--n-cpu-moe`), а в записи их не было: два прогона одного набора на одной модели — 42 и 56 t/s — лежали в истории рядом и ничем не отличались. Ключ пишется всегда, включая честное «команда запуска неизвестна», когда сервер поднят не приложением. У консоли появился `--server-command` — назвать команду снаружи, раз сама она сервером не управляет. - Набор `russian` (20 кейсов, версия 1.0.0) — проверка работы с русским языком. Пять групп: орфография по правилам (жи/ши, -тся/-ться, «не» с глаголами, н/нн), морфология (падеж топонима, согласование с числительным, род глагола и существительного, ударение), понимание смысла (паронимы, фразеологизм, многозначность), перевод в обе стороны, дисциплина формата (ответ только кириллицей, JSON с русскими ключами). Все проверки детерминированные — `regex`, `contains_*`, `exact_match`, `json_schema`, — судья не нужен, поэтому набор гоняется на любой модели и прогоны сравнимы между собой. Регулярки сверяются с сырым ответом, а не с нормализованным: там, где значимы «ё» и регистр (ударение, жи/ши, -тся/-ться), они не теряются. - Подпись набора `russian` в списке типов тестирования («Русский язык»). ### Изменено - `__version__` поднята до `1.0.1` — вместе с ней номер MSI-пакета. - CI гоняет `check_all.py` целиком вместо трёх проверок по списку: один вход, который не может разойтись с локальным прогоном. Список в workflow был недосмотром — от живого сервера не зависит ни одна проверка. - `check_all.py` — тринадцать проверок вместо двенадцати. - `check_speed_metrics.py` — новый раздел «Чем поднят сервер» (59 → 68 случаев), `check_server_manager.py` — проверки описания запуска (76 → 87). - `check_speed_metrics.py` — новый раздел про занятость сервера: чужой запрос виден, записан в прогон, а сам прогон из-за занятости не падает (49 → 59 случаев). - `check_generators.py` печатает итог в общем формате («Пройдено / Провалено»), так что сводка `check_all.py` показывает его числа, и отдельно считает пропуски — кейс, на котором счёт токенов переключился посреди сборки, не засчитывается ни в успех, ни в провал. - Экспорт из «Сравнения» в HTML строится по активной палитре, а не по жёстко вписанным тёмным цветам: в светлой теме отчёт больше не чёрный. ### Исправлено - `DatabaseManager.get_all_runs(set_id=...)` добавлял в запрос `WHERE set_id = ?`, но значение в параметры не клал: sqlite3 отвечал «incorrect number of bindings supplied». В приложении метод сейчас никем не вызывается, поэтому ошибка была тихой; нашла её новая проверка `check_database.py`. - Точный счёт длины промпта (`/tokenize`) отключался навсегда после первого сбоя. Одиночная заминка сервера — загрузка модели, чужой запрос — переводила весь оставшийся прогон на грубую оценку «два символа на токен», и промпт собирался наполовину точным счётом, наполовину оценкой: в наборе `context_long` кейс на 64 000 токенов перелетал цель на 40%. Теперь отказом считается три сбоя подряд, каждый сбой пишется в `logs/app.log`, а проверка генераторов помечает такой кейс пропуском, а не провалом. - Кнопки «Экспорт в HTML» / «Экспорт в CSV» в «Сравнении» не делали ничего: `QPushButton.clicked` посылает флаг `False`, он попадал в параметр `path`, и метод тихо выходил на `if not path`. Теперь любой не-строковый аргумент означает «открыть диалог выбора файла». - Обычные ячейки сводной таблицы («Прогон», «Модель», «Наборов», «Время прогона») в тёмной теме красились в чёрный: `_paint()` их не трогал, и они оставались с цветом Qt по умолчанию. ## [1.0.0] — 2026-09-26 ### Добавлено - Атомарная запись файлов: все JSON, CSV, HTML и текстовые файлы пишутся через временный файл рядом с целевым и `os.replace`. Обрыв прогона или закрытие окна не оставляют обрезанный JSON. - Ротационное логирование: `logs/app.log` с ротацией по 2 МБ, пять копий. Заменяет два `print()` в библиотеке. - Единый гейт `check_all.py`: один вход на все 12 проверок + ruff. - Кэш вердиктов судьи: `.cache/judge_cache.json` — повторный прогон не платит токенами за уже оценённые ответы. - Прогрев сервера перед прогоном: один минимальный запрос, чтобы первый измеряемый кейс не ловил выброс «холодной» модели. - CI на GitHub Actions: линтер (ubuntu) + весь набор проверок (windows). ### Изменено - `__version__` поднята до `1.0.0`. - `requirements.txt` очищен: убраны `pandas` и `Jinja2` (не использовались). - `history.db` исключён из git-индекса. ### Исправлено - ТЗ и комментарий CI: раньше ошибочно утверждалось, что повторных попыток нет и что часть проверок зависит от живого сервера.