LLMxRay
Vidite šta vaša lokalna AI zaista radi.
Usmerite VS Code Copilot, Open WebUI, Continue, n8n ili svog agenta na LLMxRay umesto na Ollama, i vidite svaki korak:
šta je bilo u kešu, šta je ponovo pročitano, šta je demon tiho odsekao, koji alat je izbacio koji model. Bez clouda. Bez API ključeva. Bez troška.
🌐 English •
Français •
中文 •
العربية •
Srpski
Brzi start •
Šta vaši alati šalju •
Čuvanje i slanje •
Za agente •
Takođe u paketu •
Kome je namenjeno •
Instalacija •
Ollama kompatibilnost •
Changelog
---
## Brzi start
Potreban vam je pokrenut [Ollama](https://ollama.com/download) sa bar jednim preuzetim modelom (`ollama pull llama3.2`). Zatim:
```bash
npx llmxray
```
Ili sa Dockerom:
```bash
docker run -p 5174:5174 -p 11435:11435 djovaneli/llmxray
```
Sada usmerite svoje alate na **http://localhost:11435** umesto na Ollama port 11434: VS Code Copilot, Open WebUI, Continue, n8n, vaše skripte. Ponaša se tačno kao Ollama i prosleđuje sve. Otvorite **http://localhost:5174**, idite na **Live**, i gledajte kako njihovi koraci stižu.
Želite samo da isprobate model? Otvorite stranicu za ćaskanje, izaberite model i pošaljite poruku.
---
## Šta vaši alati zaista šalju
Vaš editor, vaši agenti i vaše skripte razgovaraju sa istim Ollama. Ove stranice pokazuju šta svaki od njih šalje, šta demon radi s tim, i koliko to košta ostale.
### Live: šta vaši drugi alati šalju
LLMxRay otvara drugi port, **11435**, koji se ponaša tačno kao Ollama i sve mu prosleđuje. Usmerite VS Code Copilot, Open WebUI, Continue, n8n ili sopstvenu skriptu na `http://localhost:11435` i svaki korak koji pošalju pojavljuje se ovde: klijent, model, veličina prompta, koliko je došlo iz keša, brzina prefill-a i generisanja, pozivi alata.
```
VS Code Copilot ─┐
Open WebUI ──────┤ ┌─ Live stranica: svaki korak,
Continue / n8n ──┼─► http://localhost:11435 ─► Ollama ┤ pogoci keša, brzina prefill-a,
vaše skripte ────┘ (LLMxRay) └─ gde je keš pukao
```
Izaberite korak da vidite od čega se prompt sastoji i tačno mesto gde je prestao da se poklapa sa prethodnim, a to je mesto gde je keš pukao. Nalazi su obične rečenice, svaka vezana za korak koji je dokazuje: klijent koji iznova čita ceo prompt u svakom koraku, model koji delom radi na CPU-u, šeme alata koje zauzimaju 40% svakog prompta. Čuvaju se samo brojevi i vremena, na ovoj mašini 30 dana, pa ponovno pokretanje nastavlja tamo gde je stalo. Tekst prompta je opcija koja piše u lokalni fajl. Ništa ne napušta vašu mašinu, osim ako korake ne pošaljete svom pregledaču tragova.
Podrazumevano, oba porta odgovaraju samo ovoj mašini, jer Live dnevnik čuva ono što su vaši alati poslali. Pokrenite `npx llmxray --host 0.0.0.0` da bi druge mašine u vašoj mreži mogle da ih dosegnu, za Live stranicu na drugom monitoru ili deljenu GPU mašinu.
### Rendgen prompta: sam prompt, nacrtan u razmeri
Svaki korak koji je vaš alat poslao, kao traka. Boja pokazuje šta je bio svaki deo prompta: sistemski prompt, šeme alata, raniji koraci, nova poruka. Svetlina pokazuje šta mu se desilo: bledo je već bilo u memoriji modela i nije koštalo ništa, jarko je moralo ponovo da se pročita, prugasto je demon odsekao i nikada nije viđeno. Složite korake jednog razgovora i vidite kako keš raste, korak u kom ga je vremenska oznaka u sistemskom promptu ispraznila, i korak u kom je razgovor prerastao kontekst pa je Ollama tiho odbacio najstarije poruke i ipak odgovorio. Kada je sam sistemski prompt predugačak, odbacuje se njegov početak. Kliknite na deo i zahtev se otvara na tom mestu u tekstu.
### Izvršavanja: rad jednog alata, od početka do kraja
Pozivi jednog alata modelu poređani u vremenu, kao vodopad. Svaki poziv je podeljen po onome što Ollama prijavljuje: čekanje, učitavanje modela, čitanje prompta, pisanje odgovora. Između poziva, vreme samog alata, nazvano po alatima koje je model tražio. Koraci počinju tamo gde je alat započeo novi razgovor, pa se agent koji baca svoj keš na svakom koraku vidi na prvi pogled, kao i model koji nije bio u memoriji kada je izvršavanje počelo. Kliknite na bilo koji red da vidite šta je taj poziv poslao i šta se vratilo, uključujući razmišljanje modela i njegove pozive alata sa argumentima, ili šta je alat pitan i šta je vratio. Svaki red ima svoj link. Uključite *Čuvaj tekst upita* na Live stranici da vidite tekst; vremenima ne treba ništa.
### Deljena mašina: zašto je Ollama spor upravo sada, i koji alat je kriv
Jedan red po alatu, poređan po tome koliko je koštao ostale, u sekundama: onaj koji šalje `keep_alive: 0` i izbacuje model posle svakog izvršavanja, onaj koji traži kontekst od 128K za promptove od 4K i spušta demona na jedan zahtev odjednom, onaj koji je čekao 22 sekunde iza njih. Uz svaki, podešavanje koje treba promeniti. Alat koji nije koštao ništa je takođe na listi, da vidite kako izgleda dobro ponašanje.
### GPU mapa: šta je u video memoriji, i šta bi još stalo
Jedna traka širine vaše kartice: svaki učitan model kao blok podeljen na težine i ono što njegov kontekst košta povrh toga, zatim slobodan prostor. Ispod, svaki preuzet model sa jednom od tri presude: staje sada, staje samo ako se učitano prvo izbaci, veći od kartice.
### Pozivi alata: može li ovaj model da vodi agenta?
Trinaest oblika zahteva koje agenti šalju po ceo dan, ocenjenih po onome što je demon vratio: pravi alat, pravi argumenti, pravi broj poziva, bez poziva kada nije potreban. Svaka ćelija je jedna rečenica: „nedostaje argument path”, „upisao je poziv u tekst odgovora”, „pozvao je search_web iako alat nije bio potreban”. Kliknite da vidite šta je model vratio.
### Laboratorija keša
Lokalni model ponovo koristi keš prompta samo dok se prompt poklapa od prvog tokena. Jedan vremenski pečat pri vrhu baca sve ispod njega. Laboratorija pronalazi vrednosti koje se menjaju između koraka, pokazuje gde ponovna upotreba umire, a zatim **meri** na vašem sopstvenom demonu koliko se dobija njihovim premeštanjem na kraj.
Izmereno na stvarnom promptu od 324 tokena: 4 tokena ponovo iskorišćena i 64,6 ms prefill-a sa pečatom napred, 290 ponovo iskorišćenih i 18,6 ms sa pečatom pozadi. **3,5x brže, iste reči.**
### Protocol Observatory
Isti prompt kroz tri Ollama protokola istovremeno: native `/api/chat`, OpenAI-kompatibilni `/v1/chat/completions` i Anthropic-kompatibilni `/v1/messages`. Strimovanje jedan pored drugog, metrike po protokolu, i diff omotača koji pokazuje kako svaki od njih uokviruje razloge završetka, broj tokena i greške.
---
## Sačuvajte, i pošaljite dalje
Zapis svakog koraka (tokeni, keš, vremena, klijent, model, nikada tekst) ostaje na vašoj mašini 30 dana, pa ponovno pokretanje nastavlja tamo gde je stalo. Live, Izvršavanja, Rendgen prompta i MCP alati nastavljaju kao da se ništa nije desilo.
Ako vaš tim već čita tragove, pošaljite korake tamo: svaki poziv modela postaje OpenTelemetry span sa GenAI atributima koje pregledači već čitaju, svako izvršavanje trag, a vreme alata između poziva zaseban span, isti vodopad kao u Izvršavanjima. Upišite adresu na Live stranici, ili `OTEL_EXPORTER_OTLP_ENDPOINT`.
| Pregledač | Adresa |
|---|---|
| Jaeger (`docker run -p 16686:16686 -p 4318:4318 jaegertracing/jaeger`) | `http://localhost:4318` |
| Arize Phoenix (`docker run -p 6006:6006 arizephoenix/phoenix`) | `http://localhost:6006` |
| Langfuse | `https://cloud.langfuse.com/api/public/otel`, sa Basic zaglavljem od vaših ključeva |
| Grafana Tempo, OpenTelemetry Collector | njegova OTLP HTTP adresa, obično port 4318 |
Tekst prompta se šalje samo ako uključite i *Čuvaj tekst upita* i *Uključi tekst upita u svaki span*.
---
## Za agente
Ako ste agent koji radi na lokalnom modelu, LLMxRay može da vam kaže šta nije u redu sa vašim pozivima. Dva koraka.
1. Šaljite svoje Ollama pozive na port **11435** umesto na 11434. Ponaša se tačno kao Ollama i prosleđuje sve; LLMxRay samo beleži ono što prolazi.
2. Dodajte LLMxRay MCP server svojim alatima:
```json
{ "mcpServers": { "llmxray": { "command": "npx", "args": ["-y", "-p", "llmxray", "llmxray-mcp"] } } }
```
Sedam alata, svi samo za čitanje, ništa ne napušta mašinu:
| Alat | Odgovara na |
|---|---|
| `diagnose_my_turns` | Šta se ističe u vašim poslednjim koracima, kao rečenice sa rešenjem: prompt odbijen jer premašuje učitani kontekst, keš prompta izgubljen u svakom koraku ili u jednom, model koji delom radi na CPU-u, šeme alata koje zatrpavaju prompt. |
| `read_my_last_turn` | Vaš poslednji korak u brojevima: tokeni prompta i udeo iz keša, vreme i brzina predpopunjavanja, generisani tokeni i brzina, zašto je generisanje stalo, od čega se prompt sastojao, da li je model stao u video memoriju. |
| `list_local_models` | Koji modeli su preuzeti, njihova veličina i kvantizacija, koji su sada učitani i sa kojim kontekstom, i da li svaki staje u video memoriju. |
| `list_my_turns` | Istorija: jedan red po koraku sa tokenima, udelom iz keša, predpopunjavanjem, brzinom generisanja, razlogom zaustavljanja i oznakama. |
| `compare_my_turns` | Da li je promena pomogla: medijane udela iz keša, predpopunjavanja, brzine i veličine prompta pre i posle jednog trenutka, sa presudom. |
| `estimate_my_prompt` | Pre slanja: da li prompt od N tokena staje u učitani kontekst, koliko prostora ostaje, da li je model u video memoriji, koliko bi keš ponovo iskoristio. |
| `read_llmxray_status` | Gde LLMxRay radi, port za posmatranje, Ollama kome prosleđuje, koliko koraka čuva. |
Sam LLMxRay mora da radi (`npx llmxray`). MCP server ga čita preko localhost-a.
Isti postupak, kao [Agent Skill](https://agentskills.io) koji vaš agent može da učita: `npx skills add LogneBudo/llmxray` (skills.sh) ili `clawhub install llmxray-diagnose-ollama-calls` (ClawHub). Izvor: [skills/diagnose-ollama-calls/SKILL.md](skills/diagnose-ollama-calls/SKILL.md).
Dajte sebi ime da bi vaši koraci bili vaši: pošaljite zaglavlje `X-LLMxRay-Client: moj-agent`, ili koristite `http://localhost:11435/?client=moj-agent` kao osnovnu adresu, i prosledite `moj-agent` kao `client` alatima.
---
## Takođe u paketu
Pokrećete lokalni model. Ćaskate sa njim. LLMxRay odgovara na pitanja koja slede: koliko je brzo stigao svaki token, koliko je prompt koštao, da li je keš pomogao, koje je podešavanje zaista bilo bolje, i šta vaši *drugi* alati šalju istom modelu.
Svaka stranica ispod je jedan od tih odgovora.
### Ćaskanje, token po token
Svaki token se iscrtava čim stigne, obojen po verovatnoći koju mu model daje, iz Ollama logprobs. Vidite gde je model oklevao, a gde je bio siguran. Markdown, razgovori u više koraka, prilozi i slike, slash komande, i budžet za razmišljanje kod modela sa rezonovanjem (isključeno, po izboru modela, ili low / medium / high / max).
Svaki odgovor se proverava čim stigne. Oznaka se pojavljuje samo kada nešto nije u redu: ponavljanje, odbijanje, besmislice, prazan odgovor, ili odgovor odsečen na granici tokena.
Snimak ekrana
Snimak ekrana
Snimak ekrana
Snimak ekrana
Snimak ekrana
Snimak ekrana
|
|
|
Snimak ekrana
Snimak ekrana
Snimak ekrana
|
|
|
Snimak ekrana
|
|
|
Ako vam LLMxRay pomaže da bolje razumete svoju AI, razmislite o zvezdici.
Pomaže drugima da otkriju projekat.
