# 📦 @goodandready/dsh-model-sync

Динамическая синхронизация каталогов LLM-моделей и автоматический мониторинг баланса для DeepSeek Harness

🇬🇧 English • 🇷🇺 Русский • 🇨🇳 中文说明

⭐ Если вам нравится этот плагин, поставьте ему Star на GitHub — это покажет мне, что плагин полезен, и добавит мотивации продолжать его развитие.

🐛 Если вы нашли баг или хотите предложить новую функцию, создайте Issue на GitHub на любом языке — я рассмотрю предложение и реализую полезные улучшения в одной из следующих версий плагина.

--- ## ⚡ Обзор **`dsh-model-sync`** поддерживает каталог моделей **DeepSeek Harness** в актуальном состоянии с апстрим AI-провайдерами. Вместо ручного редактирования YAML-файлов при выпуске провайдером новой модели, изменении размера контекста или цен, `dsh-model-sync` автоматически обнаруживает новые релизы, обновляет метаданные возможностей (`vision`, `tools`, `reasoning`, `embeddings`), отслеживает баланс аккаунтов, управляет видимостью моделей в интерфейсе и синхронизирует модели на лету без перезапуска сервера. ```mermaid graph LR subgraph Trigger [Расписание и ручной запуск] Cron[⏰ Фоновый планировщик опроса] --> Engine[Ядро dsh-model-sync] WebUI[🖥️ Настройки: Кнопка Sync Now] --> Engine end subgraph Providers [25+ Апстрим-провайдеров] Engine --> Registry{Реестр адаптеров} Registry -->|Bearer Auth| P1[OpenAI / DeepSeek / OpenRouter / Groq] Registry -->|x-api-key Auth| P2[Anthropic Claude / Пользовательские шлюзы] Registry -->|query-key Auth| P3[Google Gemini] Registry -->|Локальный опрос| P4[Локальные Ollama / vLLM / SGLang] Registry -->|CommandCode API| P5[Command Code / visibleModels] Registry -->|Опрос подписки| P6[План подписки ClineBot] end subgraph Reconcile [Сверка каталога и аудит] P1 --> Normalizer[Нормализатор моделей и тегирование возможностей] P2 --> Normalizer P3 --> Normalizer P4 --> Normalizer P5 --> Normalizer P6 --> Normalizer Normalizer --> Diff[Трекер изменений: Добавлено / Устарело] Diff --> Catalog[Активный каталог моделей DSH и visibleModels] end style Trigger fill:#1e1e2e,stroke:#89b4fa,stroke-width:2px,color:#cdd6f4 style Providers fill:#181825,stroke:#cba6f7,stroke-width:2px,color:#cdd6f4 style Reconcile fill:#11111b,stroke:#a6e3a1,stroke-width:2px,color:#cdd6f4 ``` --- ## ✨ Ключевые возможности * 🏷️ **Смарт-коллекции и авто-тегирование каталога**: Автоматическое присвоение тегов моделям (`coding`, `reasoning`, `fast`, `vision`, `long-context`) при синхронизации, фильтрация по тегам pill-кнопками в Web UI и пресет «⭐ Curated Best» для выбора лучших флагманских моделей в один клик. * ⚡ **Радар задержек (Latency & TTFT) и спарклайны**: Измерение времени ответа и Time To First Token (TTFT), визуализация спарклайнами (` ▂▃▂ `) с 4 градациями скорости (⚡ `< 300мс`, 🟢 `< 1.2с`, 🟡 `1.5 - 3.0с`, 🔴 `> 3.0с`) и эндпоинт `GET /dsh-model-sync/health/latency` для агентов-маршрутизаторов. * 💸 **Динамическая синхронизация цен и учёт Prompt Caching**: Фоновое обновление актуальных тарифов из OpenRouter и LiteLLM с дисковым fallback-кэшем, поддержка скидок кэширования промптов (`cacheReadPerToken`, `cacheWritePerToken`) и эндпоинты `GET /dsh-model-sync/pricing`, `POST /dsh-model-sync/pricing/sync`. * 💰 **Встроенная база эталонных цен токенов**: Автоматическое обогащение моделей тарифами для OpenAI, Anthropic, Groq, Mistral, xAI и DeepSeek, обеспечивающее работу лимитов цен и псевдонима `@cheap` даже при отсутствии метаданных в API провайдера. * 🎯 **Динамические «умные» псевдонимы и авто-фоллбэк**: Поддержка виртуальных алиасов (`@fast`, `@cheap`, `@best-code`) и цепочек резервирования с автопереключением при размыкании Circuit Breaker. * 📏 **Реальные лимиты контекста и авто-клампинг (`contextWindow` / `maxOutputTokens`)**: точное разделение входного и выходного лимита токенов, защита от ошибок 400 `max_tokens` и индикация `Вход: 128k | Выход: 8k` в Web UI. * 🧠 **Унификация параметров Reasoning & Thinking**: автоматическое определение формата (`effort`, `budget_tokens`, `boolean`) и параметров бюджета рассуждений с подавлением несовместимых параметров (например, `temperature` для o1/o3). * 🔔 **Внешние Diff Webhooks и диспетчеризация событий**: Уведомления в реальном времени с проверкой подписи HMAC-SHA256 и событиями Cordis `model-sync/diff` при добавлении моделей, их устаревании или изменении цен. * ⚡ **Высокопроизводительная фильтрация моделей**: Быстрый путь (`fast-path`) в `filterModels` мгновенно возвращает каталог при отсутствии активных правил политики, исключая лишнюю компиляцию regex и прогоны массивов. * 🔄 **Обновление плагина в один клик**: Встроенный механизм проверки обновлений в Настройках со сбросом кэша npm при ручном запросе (`?fresh=1` / `Cache-Control: no-cache`), гарантирующий получение актуальной версии. * 🔄 **Автоматическое обнаружение каталога**: синхронизация списков моделей, алиасов, контекстных окон и флагов возможностей (`vision`, `tools`, `reasoning`, `embeddings`) для 25+ провайдеров. * 🛡️ **Совместимость шаблонов чата и ролей Minijinja**: автоматическая установка `compat.supportsDeveloperRole: false` для открытых моделей Groq (Qwen, Llama, Mistral, Gemma, DeepSeek) и DeepSeek API, предотвращая ошибки 400 `Unexpected message role` для reasoning-моделей с сохранением пользовательских настроек. * 🌐 **25+ встроенных адаптеров провайдеров**: готовая поддержка OpenAI, Anthropic, Google, DeepSeek, xAI, OpenRouter, Groq, Mistral, Cerebras, Fireworks, HuggingFace, Moonshot, NVIDIA, Qwen, Together, Xiaomi MiMo, SiliconFlow, Command Code, ClineBot и локальной Ollama. * 🎛️ **Управление моделями Command Code**: полное обнаружение моделей Command Code с возможностью выбора чекбоксами в UI и автоматической синхронизацией `visibleModels` в настройках `llm-commandcode`. * 🎯 **Синхронизация тарифного плана ClineBot**: выделенный адаптер, опрашивающий `GET /users/me/plan`, который получает исключительно модели, входящие в активную подписку, исключая появление сотен недоступных моделей. * 🔌 **Поддержка универсальных и кастомных адаптеров**: подключение произвольных OpenAI-совместимых эндпоинтов `/v1/models` с настраиваемой авторизацией (`bearer`, `x-api-key`, `query-key`, `none`). * 📊 **Мониторинг баланса и квот**: опрос биллинговых эндпоинтов провайдеров (где поддерживается) для предотвращения неожиданного исчерпания средств. * 📜 **История синхронизации и аудит диффов**: отслеживание всех добавленных моделей, устаревших ID и изменённых возможностей с журналом изменений во времени. * 🖥️ **Полноценная панель Web UI (**Настройки → Синхронизация моделей**)**: * Карточки статуса по каждому провайдеру со счётчиками активных моделей; * Кнопка мгновенной синхронизации «Sync Now»; * Выбор и скрытие моделей чекбоксами; * Переключатели включения/отключения провайдеров и ввод кастомных эндпоинтов. --- ## 🛠️ Поддерживаемые провайдеры | Идентификатор провайдера | Формат авторизации | Автоопределение возможностей и примечания | |---|---|---| | `openai` | Bearer Token | `vision`, `tools`, `reasoning`, `embeddings` | | `anthropic` | Заголовок `x-api-key` | `vision`, `tools`, `reasoning` | | `google` | Query-параметр / Ключ | `vision`, `tools`, `reasoning`, `embeddings` | | `deepseek` | Bearer Token | `tools`, `reasoning` | | `xai` | Bearer Token | `vision`, `tools`, `reasoning` | | `openrouter` | Bearer Token | Мультипровайдерный каталог с ценами и контекстными лимитами | | `groq` | Bearer Token | `tools`, `reasoning`, `vision`, `supportsDeveloperRole: false` | | `mistral` | Bearer Token | `tools`, `reasoning`, `vision` | | `commandcode` | Bearer Token | Каталог `https://api.commandcode.ai/provider/v1/models` с сохранением выбора в `visibleModels` для `llm-commandcode` | | `clinebot` | Bearer Token | Опрос активного тарифного плана (`/users/me/plan`), синхронизация строго включённых в подписку моделей | | `fireworks` | Bearer Token | Эндпоинты открытых весов | | `huggingface` | Bearer Token | Каталог Serverless Inference API | | `together` | Bearer Token | Каталог моделей Open-Source | | `ollama` | Локальный HTTP (`none`) | Локальное обнаружение офлайн-моделей (`/api/tags`) | | `custom` | Настраиваемый | Любой кастомный шлюз, совместимый с OpenAI или Google | --- ## 📦 Быстрая установка ```bash dsh plugin --profile web add @goodandready/dsh-model-sync ``` > [!IMPORTANT] > Перезапустите Web UI DSH после установки (`systemctl --user restart dsh-web`), чтобы активировать фоновую синхронизацию каталогов. --- ## ⚙️ Конфигурация (`settings.yaml`) ```yaml dsh-model-sync: enabled: true scheduleEnabled: false intervalMinutes: 60 autoApply: false requestTimeoutMs: 15000 retryAttempts: 3 concurrency: 4 providers: - provider: commandcode enabled: true autoApply: false - provider: clinebot enabled: true autoApply: false ``` | Параметр | Тип | По умолчанию | Описание | |---|---|---|---| | `enabled` | `boolean` | `true` | Главный переключатель фоновой синхронизации | | `scheduleEnabled` | `boolean` | `false` | Включение периодического фонового расписания синхронизации | | `intervalMinutes` | `number` | `60` | Периодичность опроса провайдеров (в минутах) | | `autoApply` | `boolean` | `false` | Автоматически применять обнаруженные модели к активному каталогу | | `requestTimeoutMs`| `number` | `15000` | Таймаут HTTP-запросов синхронизации каталогов (в миллисекундах) | | `retryAttempts` | `number` | `3` | Максимальное число повторных попыток при сетевых сбоях | | `concurrency` | `number` | `4` | Максимальное количество параллельных задач синхронизации | | `providers` | `array` | `[]` | Список индивидуальных настроек провайдеров (`provider`, `enabled`, `autoApply`) | --- ### 🔍 Активное аппаратное зондирование возможностей (Capability Probing) - **Микро-зонды**: Реальная проверка поддержки возможностей модели вместо слепого доверия флагам провайдера: - `JSON Schema`: Проверка структурированного JSON-вывода (`response_format: { type: "json_schema" }`). - `Tools / Functions`: Проверка генерации вызовов инструментов (function calling). - `Vision`: Проверка распознавания мультимодальных изображений. - `Developer Role`: Проверка поддержки системной роли `developer` для reasoning-моделей. - **Кнопки в Web UI**: Отдельная кнопка «🔍 Проверить возможности» у каждого провайдера, а также кнопки «🔍 Проверить все модели» и «⚡ Только новые модели» в шапке каталога. - **Бейджи верификации**: Зелёные бейджи (`✔ Tools`, `✔ Vision`, `✔ JSON`, `✔ DevRole`) сохраняются на диске и восстанавливаются при перезапуске. ### 🦙 Центр управления Ollama и локальными моделями - **Управление прямо из Web UI**: Загрузка, удаление и контроль локальных моделей Ollama без подключения по SSH. - **Живой прогресс загрузки**: Индикатор скачивания слоёв модели с процентами и объёмом данных. - **Управление видеопамятью (GPU VRAM)**: Отображение запущенных в VRAM моделей (`/api/ps`) и быстрая кнопка «⏏ Выгрузить из VRAM» (`keep_alive: 0`) для мгновенного освобождения GPU. - **Квантование и параметры**: Просмотр квантования (`Q4_K_M`, `Q8_0`), семейства архитектуры, контекстного окна и удаление ненужных моделей. --- ## 📄 Лицензия MIT © [GooDAnDReaDY](https://github.com/GooDAnDReaDY)