# User Guide (తెలుగు)
🌐 **Languages:** 🇺🇸 [English](../../../../guides/USER_GUIDE.md) · 🇪🇹 [am](../../../am/docs/guides/USER_GUIDE.md) · 🇸🇦 [ar](../../../ar/docs/guides/USER_GUIDE.md) · 🇦🇿 [az](../../../az/docs/guides/USER_GUIDE.md) · 🇧🇬 [bg](../../../bg/docs/guides/USER_GUIDE.md) · 🇧🇩 [bn](../../../bn/docs/guides/USER_GUIDE.md) · 🇧🇦 [bs](../../../bs/docs/guides/USER_GUIDE.md) · 🇨🇿 [cs](../../../cs/docs/guides/USER_GUIDE.md) · 🇩🇰 [da](../../../da/docs/guides/USER_GUIDE.md) · 🇩🇪 [de](../../../de/docs/guides/USER_GUIDE.md) · 🇬🇷 [el](../../../el/docs/guides/USER_GUIDE.md) · 🇪🇸 [es](../../../es/docs/guides/USER_GUIDE.md) · 🇪🇪 [et](../../../et/docs/guides/USER_GUIDE.md) · 🇮🇷 [fa](../../../fa/docs/guides/USER_GUIDE.md) · 🇫🇮 [fi](../../../fi/docs/guides/USER_GUIDE.md) · 🇫🇷 [fr](../../../fr/docs/guides/USER_GUIDE.md) · 🇮🇪 [ga](../../../ga/docs/guides/USER_GUIDE.md) · 🇮🇳 [gu](../../../gu/docs/guides/USER_GUIDE.md) · 🇳🇬 [ha](../../../ha/docs/guides/USER_GUIDE.md) · 🇮🇱 [he](../../../he/docs/guides/USER_GUIDE.md) · 🇮🇳 [hi](../../../hi/docs/guides/USER_GUIDE.md) · 🇭🇷 [hr](../../../hr/docs/guides/USER_GUIDE.md) · 🇭🇺 [hu](../../../hu/docs/guides/USER_GUIDE.md) · 🇦🇲 [hy](../../../hy/docs/guides/USER_GUIDE.md) · 🇮🇩 [id](../../../id/docs/guides/USER_GUIDE.md) · 🇳🇬 [ig](../../../ig/docs/guides/USER_GUIDE.md) · 🇮🇹 [it](../../../it/docs/guides/USER_GUIDE.md) · 🇯🇵 [ja](../../../ja/docs/guides/USER_GUIDE.md) · 🇬🇪 [ka](../../../ka/docs/guides/USER_GUIDE.md) · 🇰🇭 [km](../../../km/docs/guides/USER_GUIDE.md) · 🇮🇳 [kn](../../../kn/docs/guides/USER_GUIDE.md) · 🇰🇷 [ko](../../../ko/docs/guides/USER_GUIDE.md) · 🇱🇹 [lt](../../../lt/docs/guides/USER_GUIDE.md) · 🇱🇻 [lv](../../../lv/docs/guides/USER_GUIDE.md) · 🇮🇳 [ml](../../../ml/docs/guides/USER_GUIDE.md) · 🇮🇳 [mr](../../../mr/docs/guides/USER_GUIDE.md) · 🇲🇾 [ms](../../../ms/docs/guides/USER_GUIDE.md) · 🇲🇹 [mt](../../../mt/docs/guides/USER_GUIDE.md) · 🇲🇲 [my](../../../my/docs/guides/USER_GUIDE.md) · 🇳🇵 [ne](../../../ne/docs/guides/USER_GUIDE.md) · 🇳🇱 [nl](../../../nl/docs/guides/USER_GUIDE.md) · 🇳🇴 [no](../../../no/docs/guides/USER_GUIDE.md) · 🇮🇳 [or](../../../or/docs/guides/USER_GUIDE.md) · 🇮🇳 [pa](../../../pa/docs/guides/USER_GUIDE.md) · 🇵🇭 [phi](../../../phi/docs/guides/USER_GUIDE.md) · 🇵🇱 [pl](../../../pl/docs/guides/USER_GUIDE.md) · 🇵🇹 [pt](../../../pt/docs/guides/USER_GUIDE.md) · 🇧🇷 [pt-BR](../../../pt-BR/docs/guides/USER_GUIDE.md) · 🇷🇴 [ro](../../../ro/docs/guides/USER_GUIDE.md) · 🇷🇺 [ru](../../../ru/docs/guides/USER_GUIDE.md) · 🇱🇰 [si](../../../si/docs/guides/USER_GUIDE.md) · 🇸🇰 [sk](../../../sk/docs/guides/USER_GUIDE.md) · 🇸🇮 [sl](../../../sl/docs/guides/USER_GUIDE.md) · 🇷🇸 [sr](../../../sr/docs/guides/USER_GUIDE.md) · 🇸🇪 [sv](../../../sv/docs/guides/USER_GUIDE.md) · 🇰🇪 [sw](../../../sw/docs/guides/USER_GUIDE.md) · 🇮🇳 [ta](../../../ta/docs/guides/USER_GUIDE.md) · 🇹🇭 [th](../../../th/docs/guides/USER_GUIDE.md) · 🇹🇷 [tr](../../../tr/docs/guides/USER_GUIDE.md) · 🇺🇦 [uk-UA](../../../uk-UA/docs/guides/USER_GUIDE.md) · 🇵🇰 [ur](../../../ur/docs/guides/USER_GUIDE.md) · 🇺🇿 [uz](../../../uz/docs/guides/USER_GUIDE.md) · 🇻🇳 [vi](../../../vi/docs/guides/USER_GUIDE.md) · 🇳🇬 [yo](../../../yo/docs/guides/USER_GUIDE.md) · 🇨🇳 [zh-CN](../../../zh-CN/docs/guides/USER_GUIDE.md) · 🇹🇼 [zh-TW](../../../zh-TW/docs/guides/USER_GUIDE.md)
---
🌐 **Languages:** 🇺🇸 [English](../../../../guides/USER_GUIDE.md) · 🇪🇹 [am](../../../am/docs/guides/USER_GUIDE.md) · 🇸🇦 [ar](../../../ar/docs/guides/USER_GUIDE.md) · 🇦🇿 [az](../../../az/docs/guides/USER_GUIDE.md) · 🇧🇬 [bg](../../../bg/docs/guides/USER_GUIDE.md) · 🇧🇩 [bn](../../../bn/docs/guides/USER_GUIDE.md) · 🇧🇦 [bs](../../../bs/docs/guides/USER_GUIDE.md) · 🇨🇿 [cs](../../../cs/docs/guides/USER_GUIDE.md) · 🇩🇰 [da](../../../da/docs/guides/USER_GUIDE.md) · 🇩🇪 [de](../../../de/docs/guides/USER_GUIDE.md) · 🇬🇷 [el](../../../el/docs/guides/USER_GUIDE.md) · 🇪🇸 [es](../../../es/docs/guides/USER_GUIDE.md) · 🇪🇪 [et](../../../et/docs/guides/USER_GUIDE.md) · 🇮🇷 [fa](../../../fa/docs/guides/USER_GUIDE.md) · 🇫🇮 [fi](../../../fi/docs/guides/USER_GUIDE.md) · 🇫🇷 [fr](../../../fr/docs/guides/USER_GUIDE.md) · 🇮🇪 [ga](../../../ga/docs/guides/USER_GUIDE.md) · 🇮🇳 [gu](../../../gu/docs/guides/USER_GUIDE.md) · 🇳🇬 [ha](../../../ha/docs/guides/USER_GUIDE.md) · 🇮🇱 [he](../../../he/docs/guides/USER_GUIDE.md) · 🇮🇳 [hi](../../../hi/docs/guides/USER_GUIDE.md) · 🇭🇷 [hr](../../../hr/docs/guides/USER_GUIDE.md) · 🇭🇺 [hu](../../../hu/docs/guides/USER_GUIDE.md) · 🇦🇲 [hy](../../../hy/docs/guides/USER_GUIDE.md) · 🇮🇩 [id](../../../id/docs/guides/USER_GUIDE.md) · 🇳🇬 [ig](../../../ig/docs/guides/USER_GUIDE.md) · 🇮🇹 [it](../../../it/docs/guides/USER_GUIDE.md) · 🇯🇵 [ja](../../../ja/docs/guides/USER_GUIDE.md) · 🇬🇪 [ka](../../../ka/docs/guides/USER_GUIDE.md) · 🇰🇭 [km](../../../km/docs/guides/USER_GUIDE.md) · 🇮🇳 [kn](../../../kn/docs/guides/USER_GUIDE.md) · 🇰🇷 [ko](../../../ko/docs/guides/USER_GUIDE.md) · 🇱🇹 [lt](../../../lt/docs/guides/USER_GUIDE.md) · 🇱🇻 [lv](../../../lv/docs/guides/USER_GUIDE.md) · 🇮🇳 [ml](../../../ml/docs/guides/USER_GUIDE.md) · 🇮🇳 [mr](../../../mr/docs/guides/USER_GUIDE.md) · 🇲🇾 [ms](../../../ms/docs/guides/USER_GUIDE.md) · 🇲🇹 [mt](../../../mt/docs/guides/USER_GUIDE.md) · 🇲🇲 [my](../../../my/docs/guides/USER_GUIDE.md) · 🇳🇵 [ne](../../../ne/docs/guides/USER_GUIDE.md) · 🇳🇱 [nl](../../../nl/docs/guides/USER_GUIDE.md) · 🇳🇴 [no](../../../no/docs/guides/USER_GUIDE.md) · 🇮🇳 [or](../../../or/docs/guides/USER_GUIDE.md) · 🇮🇳 [pa](../../../pa/docs/guides/USER_GUIDE.md) · 🇵🇭 [phi](../../../phi/docs/guides/USER_GUIDE.md) · 🇵🇱 [pl](../../../pl/docs/guides/USER_GUIDE.md) · 🇵🇹 [pt](../../../pt/docs/guides/USER_GUIDE.md) · 🇧🇷 [pt-BR](../../../pt-BR/docs/guides/USER_GUIDE.md) · 🇷🇴 [ro](../../../ro/docs/guides/USER_GUIDE.md) · 🇷🇺 [ru](../../../ru/docs/guides/USER_GUIDE.md) · 🇱🇰 [si](../../../si/docs/guides/USER_GUIDE.md) · 🇸🇰 [sk](../../../sk/docs/guides/USER_GUIDE.md) · 🇸🇮 [sl](../../../sl/docs/guides/USER_GUIDE.md) · 🇷🇸 [sr](../../../sr/docs/guides/USER_GUIDE.md) · 🇸🇪 [sv](../../../sv/docs/guides/USER_GUIDE.md) · 🇰🇪 [sw](../../../sw/docs/guides/USER_GUIDE.md) · 🇮🇳 [ta](../../../ta/docs/guides/USER_GUIDE.md) · 🇹🇭 [th](../../../th/docs/guides/USER_GUIDE.md) · 🇹🇷 [tr](../../../tr/docs/guides/USER_GUIDE.md) · 🇺🇦 [uk-UA](../../../uk-UA/docs/guides/USER_GUIDE.md) · 🇵🇰 [ur](../../../ur/docs/guides/USER_GUIDE.md) · 🇺🇿 [uz](../../../uz/docs/guides/USER_GUIDE.md) · 🇻🇳 [vi](../../../vi/docs/guides/USER_GUIDE.md) · 🇳🇬 [yo](../../../yo/docs/guides/USER_GUIDE.md) · 🇨🇳 [zh-CN](../../../zh-CN/docs/guides/USER_GUIDE.md) · 🇹🇼 [zh-TW](../../../zh-TW/docs/guides/USER_GUIDE.md)
ప్రొవైడర్లను కాన్ఫిగర్ చేయడం, కాంబోలను సృష్టించడం, CLI సాధనాలను అనుసంధానించడం మరియు OmniRouteను డిప్లాయ్ చేయడం కోసం సమగ్ర మార్గదర్శిని.
---
## విషయ సూచిక
- [ధరల సంక్షిప్త వివరణ](#-pricing-at-a-glance)
- [వినియోగ సందర్భాలు](#-use-cases)
- [ప్రొవైడర్ సెటప్](#-provider-setup)
- [CLI అనుసంధానం](#-cli-integration)
- [డిప్లాయ్మెంట్](#-deployment)
- [అందుబాటులో ఉన్న మోడళ్లు](#-available-models)
- [అధునాతన ఫీచర్లు](#-advanced-features)
- [ఆటో-రూటింగ్ (కాన్ఫిగరేషన్ అవసరం లేదు)](#-auto-routing-zero-config)
- [MCP & A2A అనుసంధానం](#-mcp--a2a-integration)
- [స్కిల్స్ సిస్టమ్](#-skills-system)
- [మెమరీ సిస్టమ్](#-memory-system)
- [వెబ్హుక్లు](#-webhooks)
- [క్లౌడ్ ఏజెంట్లు](#-cloud-agents)
- [ప్రోగ్రామేటిక్ నిర్వహణ](#-programmatic-management)
- [అంతర్గత CLI](#-internal-cli)
- [డెస్క్టాప్ అప్లికేషన్ (Electron)](#-desktop-application-electron)
---
## 💰 ధరల సంక్షిప్త వివరణ
| శ్రేణి | ప్రొవైడర్ | ఖర్చు | కోటా రీసెట్ | అత్యుత్తమ వినియోగం |
| --------------------- | ----------------- | -------------------------------- | ------------------------------- | ---------------------------------- |
| **💳 సబ్స్క్రిప్షన్** | Claude Code (Pro) | $20/నెల | 5గం + వారానికి | ఇప్పటికే సబ్స్క్రైబ్ చేసుకున్నవారు |
| | Codex (Plus/Pro) | $20-200/నెల | 5గం + వారానికి | OpenAI వినియోగదారులు |
| | GitHub Copilot | $10-19/నెల | నెలవారీ | GitHub వినియోగదారులు |
| **🔑 API కీ** | DeepSeek | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | చౌకైన రీజనింగ్ |
| | Groq | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | అత్యంత వేగవంతమైన ఇన్ఫరెన్స్ |
| | xAI (Grok) | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | Grok 4 రీజనింగ్ |
| | Mistral | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | EUలో హోస్ట్ చేసిన మోడళ్లు |
| | Perplexity | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | శోధనతో మెరుగుపరచబడిన వినియోగం |
| | Together AI | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | ఓపెన్-సోర్స్ మోడళ్లు |
| | Fireworks AI | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | వేగవంతమైన FLUX చిత్రాలు |
| | Cerebras | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | వేఫర్-స్థాయి వేగం |
| | Cohere | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | Command R+ RAG |
| | NVIDIA NIM | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | ఎంటర్ప్రైజ్ మోడళ్లు |
| | Baidu Qianfan | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | ERNIE మోడళ్లు |
| **💰 చౌకైనవి** | GLM-4.7 | $0.6/1M | ప్రతిరోజూ 10AM | బడ్జెట్ బ్యాకప్ |
| | MiniMax M2.1 | $0.2/1M | ప్రతి 5 గంటలకు రోలింగ్ రీసెట్ | అత్యంత చౌకైన ఎంపిక |
| | Kimi K2 | $9/నెల స్థిర ధర | 10M టోకెన్లు/నెల | అంచనా వేయగలిగే ఖర్చు |
| **🆓 ఉచితం** | Qoder | $0 | ప్రొవైడర్ పరిమితులు వర్తిస్తాయి | ప్రస్తుత కేటలాగ్ను ధృవీకరించండి |
| | Kiro | $0 | ~50 క్రెడిట్లు/నెల | ఉచిత Claude |
---
## 🎯 వినియోగ సందర్భాలు
### సందర్భం 1: "నాకు Claude Pro సబ్స్క్రిప్షన్ ఉంది"
**సమస్య:** ఉపయోగించని కోటా గడువు ముగుస్తుంది, భారీ కోడింగ్ సమయంలో రేట్ పరిమితులు ఎదురవుతాయి
```
కాంబో: "maximize-claude"
1. cc/claude-opus-4-7 (సబ్స్క్రిప్షన్ను పూర్తిగా ఉపయోగించండి)
2. glm/glm-4.7 (కోటా అయిపోయినప్పుడు చౌకైన బ్యాకప్)
3. if/qwen3.8-max-preview (అత్యవసర పరిస్థితుల్లో ఉచిత ప్రత్యామ్నాయం)
నెలవారీ ఖర్చు: $20 (సబ్స్క్రిప్షన్) + ~$5 (బ్యాకప్) = మొత్తం $25
దీనికి బదులుగా $20 చెల్లించి + పరిమితులు ఎదుర్కోవడం = నిరాశ
```
### సందర్భం 2: "నాకు ఎలాంటి ఖర్చూ వద్దు"
**సమస్య:** సబ్స్క్రిప్షన్లను భరించలేను, నమ్మదగిన AI కోడింగ్ అవసరం
```
కాంబో: "zero-cost"
1. if/kimi-k2.7-code (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు)
2. kr/qwen3-coder-next (Kiro ఉచిత ప్రత్యామ్నాయం)
నెలవారీ ఖర్చు: $0
నాణ్యత: మీ పనిభారానికి అనుగుణంగా మోడల్, పరిమితులు, గోప్యత మరియు SLAను ధృవీకరించండి
```
### సందర్భం 3: "అంతరాయాలు లేకుండా 24/7 కోడింగ్ కావాలి"
**సమస్య:** గడువులు ఉన్నాయి, సేవ నిలిచిపోవడాన్ని భరించలేను
```
కాంబో: "always-on"
1. cc/claude-opus-4-7 (అత్యుత్తమ నాణ్యత)
2. cx/gpt-5.5 (రెండవ సబ్స్క్రిప్షన్)
3. glm/glm-4.7 (చౌకైనది, ప్రతిరోజూ రీసెట్ అవుతుంది)
4. minimax/MiniMax-M2.1 (అత్యంత చౌకైనది, 5గం రీసెట్)
5. if/deepseek-v4-flash (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు)
ఫలితం: 5 ప్రత్యామ్నాయ లేయర్లు స్థిరత్వాన్ని పెంచుతాయి; అప్స్ట్రీమ్ లభ్యతకు హామీ లేదు
నెలవారీ ఖర్చు: $20-200 (సబ్స్క్రిప్షన్లు) + $10-20 (బ్యాకప్)
```
### సందర్భం 4: "OpenClawలో నాకు ఉచిత AI కావాలి"
**సమస్య:** మెసేజింగ్ యాప్లలో పూర్తిగా ఉచితమైన AI అసిస్టెంట్ అవసరం
```
కాంబో: "openclaw-free"
1. if/qwen3.8-max-preview (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు)
2. if/deepseek-v4-flash (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు)
3. if/kimi-k2.7-code (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు)
నెలవారీ ఖర్చు: $0
వీటి ద్వారా యాక్సెస్ చేయండి: WhatsApp, Telegram, Slack, Discord, iMessage, Signal...
```
---
## 📖 ప్రొవైడర్ సెటప్
CSV లేదా JSON ఫైల్ నుండి API-key కనెక్షన్లను పెద్ద మొత్తంలో జోడించడానికి, **డ్యాష్బోర్డ్ → ప్రొవైడర్లు → ఫైల్ నుండి దిగుమతి చేయండి** ఉపయోగించండి. కాలమ్లు స్థానాధారితమైనవి (`provider,name,apiKey,baseUrl,priority`); `provider` ఇప్పటికే నిర్వహిత ప్రొవైడర్గా లేదా అనుకూల నోడ్గా ఉనికిలో ఉండాలి. [CSV లేదా JSON ఫైల్ నుండి ప్రొవైడర్లను దిగుమతి చేయడం](../providers/CSV-IMPORT.md) చూడండి.
### 🔐 సబ్స్క్రిప్షన్ ప్రొవైడర్లు
#### Claude Code (Pro/Max)
```bash
డ్యాష్బోర్డ్ → ప్రొవైడర్లు → Claude Codeను కనెక్ట్ చేయండి
→ OAuth లాగిన్ → ఆటోమేటిక్ టోకెన్ రిఫ్రెష్
→ 5-గంటల + వారపు కోటా ట్రాకింగ్
మోడల్లు:
cc/claude-opus-4-7
cc/claude-sonnet-4-6
cc/claude-haiku-4-5-20251001
```
**ప్రో చిట్కా:** సంక్లిష్టమైన పనుల కోసం Opusను, వేగం కోసం Sonnetను ఉపయోగించండి. OmniRoute ప్రతి మోడల్కు కోటాను ట్రాక్ చేస్తుంది!
OmniRoute హోస్ట్లో బ్రౌజర్ లేదా? Claude Codeలో లాగిన్ అయి ఉన్న ఏ ప్రదేశంలోనైనా `claude setup-token` అమలు చేసి, ఒక సంవత్సరం టోకెన్ను **Setup Token** ట్యాబ్లో అతికించండి. [సెటప్ టోకెన్తో Claude Code](../providers/CLAUDE_CODE_SETUP_TOKEN.md) చూడండి.
Claude మరియు Claude Code-అనుకూల రూట్లు Opus మరియు Sonnet మోడల్ల కోసం `max` ఆలోచనా శ్రమ స్థాయిని అలాగే ఉంచుతాయి. Haiku మోడల్లు `max` శ్రమ స్థాయిని అంగీకరించవు, కాబట్టి OmniRoute ఆ అభ్యర్థనను అప్స్ట్రీమ్కు పంపే ముందు అధిక ఆలోచనా బడ్జెట్కు తగ్గిస్తుంది.
#### OpenAI Codex (Plus/Pro)
```bash
డ్యాష్బోర్డ్ → ప్రొవైడర్లు → Codexను కనెక్ట్ చేయండి
→ OAuth లాగిన్ (పోర్ట్ 1455)
→ 5-గంటల + వారపు రీసెట్
మోడల్లు:
cx/gpt-5.5
cx/gpt-5.4
cx/gpt-5.3-codex
cx/gpt-5.3-codex-spark
```
#### GitHub Copilot
```bash
డ్యాష్బోర్డ్ → ప్రొవైడర్లు → GitHubను కనెక్ట్ చేయండి
→ GitHub ద్వారా OAuth
→ నెలవారీ రీసెట్ (నెలలో 1వ తేదీ)
మోడల్లు:
gh/gpt-5.5
gh/gpt-5.4
gh/claude-sonnet-4.6
gh/claude-opus-4.7
gh/gemini-3.1-pro-preview
```
### 💰 చవకైన ప్రొవైడర్లు
#### GLM-4.7 (రోజువారీ రీసెట్, $0.6/1M)
1. సైన్ అప్ చేయండి: [Zhipu AI](https://open.bigmodel.cn)
2. Coding Plan నుండి API కీని పొందండి
3. డ్యాష్బోర్డ్ → API కీని జోడించండి: ప్రొవైడర్: `glm`, API కీ: `your-key`
**ఉపయోగం:** `glm/glm-4.7` — **ప్రో చిట్కా:** Coding Plan 1/7 ఖర్చుతో 3× కోటాను అందిస్తుంది! ప్రతిరోజూ ఉదయం 10:00 గంటలకు రీసెట్ అవుతుంది.
#### MiniMax M2.1 (5గం. రీసెట్, $0.20/1M)
1. సైన్ అప్ చేయండి: [MiniMax](https://www.minimax.io)
2. API కీని పొందండి → డ్యాష్బోర్డ్ → API కీని జోడించండి
**ఉపయోగం:** `minimax/MiniMax-M2.1` — **ప్రో చిట్కా:** సుదీర్ఘ కాంటెక్స్ట్ కోసం అత్యంత చవకైన ఎంపిక (1M టోకెన్లు)!
#### Kimi K2 (నెలకు స్థిరంగా $9)
1. సబ్స్క్రైబ్ చేయండి: [Moonshot AI](https://platform.kimi.ai?aff=omniroute)
2. API కీని పొందండి → డ్యాష్బోర్డ్ → API కీని జోడించండి
**ఉపయోగం:** `kimi/kimi-k2.5` — **ప్రో చిట్కా:** 10M టోకెన్లకు నెలకు స్థిరంగా $9 = 1Mకు $0.90 ప్రభావవంతమైన ఖర్చు!
#### Baidu Qianfan / ERNIE
1. సైన్ అప్ చేయండి: [Baidu AI Cloud Qianfan](https://cloud.baidu.com/product/wenxinworkshop)
2. Qianfan API కీని సృష్టించండి → డ్యాష్బోర్డ్ → API కీని జోడించండి: ప్రొవైడర్: `qianfan`
**ఉపయోగం:** `qianfan/ernie-5.1`, `qianfan/ernie-x1.1`, లేదా మరొక Qianfan OpenAI-అనుకూల మోడల్ ID.
### 🆓 ఉచిత ప్రొవైడర్లు
ఆథెంటికేషన్ అవసరం లేని ఉచిత ప్రొవైడర్ల ప్రొవైడర్ పేజీలో **ఆథెంటికేషన్ అవసరం లేదు** పక్కన ఒక స్విచ్ ఉంటుంది.
దాన్ని ఆఫ్ చేయడం వలన ఆ ప్రొవైడర్ నిలిపివేయబడుతుంది, ప్రొవైడర్ల కాన్ఫిగర్ చేసిన/కాంపాక్ట్ వీక్షణల నుండి అది తొలగించబడుతుంది మరియు
దాని మోడల్లు `/v1/models` నుండి తొలగించబడతాయి.
#### Qoder (9 ఉచిత మోడల్లు)
```bash
డ్యాష్బోర్డ్ → Qoderను కనెక్ట్ చేయండి → OAuth లాగిన్ → యాక్సెస్ ప్రస్తుత ప్రొవైడర్ పరిమితులకు లోబడి ఉంటుంది
మోడల్లు: if/qwen3.8-max-preview, if/qwen3.7-max, if/qwen3.7-plus, if/kimi-k3, if/kimi-k2.7-code, if/glm-5.2, if/deepseek-v4-pro, if/deepseek-v4-flash, if/minimax-m3
```
#### Kiro (Claude ఉచితం)
```bash
డ్యాష్బోర్డ్ → Kiroను కనెక్ట్ చేయండి → AWS Builder ID లేదా Google/GitHub → నెలకు ~50 క్రెడిట్లు
మోడల్లు: kr/claude-sonnet-4.5, kr/claude-haiku-4.5
```
---
## 🎨 కాంబోలు
ప్రతి కార్డ్పై ఉన్న హ్యాండిల్ను డ్రాగ్ చేయడం ద్వారా మీరు నేరుగా **Dashboard → Combos**లో కాంబో కార్డ్ల క్రమాన్ని మార్చవచ్చు. ఆ క్రమం SQLiteలో నిల్వ చేయబడుతుంది మరియు రీలోడ్ చేసినప్పుడు పునరుద్ధరించబడుతుంది.
### ఉదాహరణ 1: సబ్స్క్రిప్షన్ను గరిష్ఠంగా వినియోగించడం → చౌకైన బ్యాకప్
```
Dashboard → Combos → Create New
పేరు: premium-coding
మోడల్లు:
1. cc/claude-opus-4-7 (ప్రధాన సబ్స్క్రిప్షన్)
2. glm/glm-4.7 (చౌకైన బ్యాకప్, $0.6/1M)
3. minimax/MiniMax-M2.7 (అత్యంత చౌకైన ఫాల్బ్యాక్, $0.3/1M)
CLIలో ఉపయోగించండి: premium-coding
```
### ఉదాహరణ 2: ఉచితమైనవి మాత్రమే (సున్నా ఖర్చు)
```
పేరు: free-combo
మోడల్లు:
1. if/kimi-k2.7-code (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; ప్రొవైడర్ పరిమితులు వర్తించవచ్చు)
2. kr/qwen3-coder-next (Kiro ఉచిత ఫాల్బ్యాక్)
ఖర్చు: ప్రస్తుతం $0గా జాబితా చేయబడింది; నిబంధనలు మరియు లభ్యత మారవచ్చు
```
---
## 🔧 CLI ఇంటిగ్రేషన్
### Cursor IDE
**Cursorను OmniRoute క్లయింట్గా ఉపయోగించడం** (Cursor చాట్ను OmniRoute ద్వారా రూట్ చేయండి):
```
Settings → Models → Advanced:
OpenAI API బేస్ URL: http://localhost:20128/v1
OpenAI API కీ: [omniroute డ్యాష్బోర్డ్ నుండి]
మోడల్: cc/claude-opus-4-7
```
**OmniRouteను Cursor ప్రొవైడర్గా ఉపయోగించడం** (OmniRoute అప్స్ట్రీమ్లో Cursorను కాల్ చేస్తుంది): ప్రాధాన్యంగా
**Dashboard → Providers → Cursor → Login with Cursor**ను ఉపయోగించండి. Dockerలో,
[`docs/providers/CURSOR-DOCKER.md`](../providers/CURSOR-DOCKER.md) చూడండి.
### Claude Code
`~/.claude/settings.json`ను సవరించండి:
```json
{
"env": {
"ANTHROPIC_BASE_URL": "http://localhost:20128",
"ANTHROPIC_AUTH_TOKEN": "your-omniroute-api-key"
}
}
```
ఇక్కడ Claude-అనుకూల రూట్ ఎండ్పాయింట్ను ఉపయోగించండి. `ANTHROPIC_BASE_URL`కు `/v1`ను జోడించవద్దు.
### Codex CLI
```bash
export OPENAI_BASE_URL="http://localhost:20128"
export OPENAI_API_KEY="your-omniroute-api-key"
codex "your prompt"
```
### OpenClaw
`~/.openclaw/openclaw.json`ను సవరించండి:
```json
{
"agents": {
"defaults": {
"model": { "primary": "omniroute/if/kimi-k2.7-code" }
}
},
"models": {
"providers": {
"omniroute": {
"baseUrl": "http://localhost:20128/v1",
"apiKey": "your-omniroute-api-key",
"api": "openai-completions",
"models": [{ "id": "if/kimi-k2.7-code", "name": "Kimi K2.7 Code" }]
}
}
}
}
```
**లేదా Dashboard ఉపయోగించండి:** CLI Tools → OpenClaw → Auto-config
### Cline / Continue / RooCode
```
ప్రొవైడర్: OpenAI Compatible
బేస్ URL: http://localhost:20128/v1
API కీ: [డ్యాష్బోర్డ్ నుండి]
మోడల్: cc/claude-opus-4-7
```
---
## 🚀 డిప్లాయ్మెంట్
### గ్లోబల్ npm ఇన్స్టాల్ (సిఫార్సు చేయబడింది)
```bash
npm install -g omniroute
# కాన్ఫిగ్ డైరెక్టరీని సృష్టించండి
mkdir -p ~/.omniroute
# .env ఫైల్ను సృష్టించండి (.env.example చూడండి)
cp .env.example ~/.omniroute/.env
# సర్వర్ను ప్రారంభించండి
omniroute
# లేదా అనుకూల పోర్ట్తో:
omniroute --port 3000
```
CLI స్వయంచాలకంగా `~/.omniroute/.env` లేదా `./.env` నుండి `.env`ను లోడ్ చేస్తుంది.
### ట్రే మోడ్
OmniRouteను సిస్టమ్ ట్రేలో ప్రారంభించండి:
```bash
omniroute serve --tray
```
సర్వర్ మరియు ట్రే సిద్ధమైన తర్వాత కమాండ్ ముగుస్తుంది.
టెర్మినల్ లేకుండానే సర్వర్ కొనసాగుతుంది.
ట్రే మోడ్ macOS, Windows మరియు గ్రాఫికల్ Linux సెషన్లకు మద్దతు ఇస్తుంది. ట్రే మోడ్ డ్యాష్బోర్డ్ను స్వయంచాలకంగా తెరవదు.
ఈ చర్యల కోసం ట్రే మెనూను ఉపయోగించండి:
- డ్యాష్బోర్డ్ను తెరవండి.
- `/dashboard/logs`ను తెరవండి.
- ఆటో-స్టార్ట్ను మార్చండి.
- OmniRouteను ఆపండి.
ఈ ఆప్షన్లతో `--tray`ను కలిపి ఉపయోగించవద్దు:
- `--daemon`
- `--log`
- `--no-recovery`
ఈ మోడ్లకు వేర్వేరు ప్రాసెస్ యాజమాన్యం అవసరం.
తదుపరి మెషీన్ లాగిన్ సమయంలో స్టార్టప్ను ప్రారంభించండి:
```bash
omniroute autostart enable
```
macOS, Windows మరియు గ్రాఫికల్ Linux సెషన్లలో ఆటో-స్టార్ట్ ట్రే మోడ్ను ఉపయోగిస్తుంది. హెడ్లెస్ Linux ఇప్పటికే ఉన్న systemd యూజర్ సర్వీస్ను ఉపయోగిస్తుంది.
లాగిన్ సమయంలో స్టార్టప్ను నిలిపివేయండి:
```bash
omniroute autostart disable
```
### అన్ఇన్స్టాల్ చేయడం
మీకు ఇకపై OmniRoute అవసరం లేనప్పుడు, పూర్తిగా తొలగించడానికి మేము రెండు శీఘ్ర స్క్రిప్ట్లను అందిస్తున్నాము:
| కమాండ్ | చర్య |
| ------------------------ | ------------------------------------------------------------------------------------------------ |
| `npm run uninstall` | సిస్టమ్ యాప్ను తొలగిస్తుంది, కానీ `~/.omniroute`లోని **మీ DB మరియు కాన్ఫిగరేషన్లను ఉంచుతుంది**. |
| `npm run uninstall:full` | యాప్ను తొలగించడంతో పాటు **అన్ని కాన్ఫిగరేషన్లు, కీలు మరియు డేటాబేస్లను శాశ్వతంగా తొలగిస్తుంది**. |
> గమనిక: ఈ కమాండ్లను అమలు చేయడానికి, OmniRoute ప్రాజెక్ట్ ఫోల్డర్కు వెళ్లి (మీరు దాన్ని క్లోన్ చేసి ఉంటే) వాటిని అమలు చేయండి. ప్రత్యామ్నాయంగా, గ్లోబల్గా ఇన్స్టాల్ చేసి ఉంటే, మీరు కేవలం `npm uninstall -g omniroute`ను అమలు చేయవచ్చు.
### VPS డిప్లాయ్మెంట్
```bash
git clone https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute && npm install && npm run build
export JWT_SECRET="your-secure-secret-change-this"
export INITIAL_PASSWORD="your-password"
export DATA_DIR="/var/lib/omniroute"
export PORT="20128"
export HOSTNAME="0.0.0.0"
export NODE_ENV="production"
export NEXT_PUBLIC_BASE_URL="http://localhost:20128"
export API_KEY_SECRET="endpoint-proxy-api-key-secret"
npm run start
# లేదా: pm2 start npm --name omniroute -- start
```
### PM2 డిప్లాయ్మెంట్ (తక్కువ మెమరీ)
పరిమిత RAM ఉన్న సర్వర్ల కోసం, మెమరీ పరిమితి ఆప్షన్ను ఉపయోగించండి:
```bash
# 512MB పరిమితితో (డిఫాల్ట్)
pm2 start npm --name omniroute -- start
# లేదా అనుకూల మెమరీ పరిమితితో
OMNIROUTE_MEMORY_MB=512 pm2 start npm --name omniroute -- start
# లేదా ecosystem.config.jsను ఉపయోగించి
pm2 start ecosystem.config.js
```
`ecosystem.config.js`ను సృష్టించండి:
```javascript
module.exports = {
apps: [
{
name: "omniroute",
script: "npm",
args: "start",
env: {
NODE_ENV: "production",
OMNIROUTE_MEMORY_MB: "512",
JWT_SECRET: "your-secret",
INITIAL_PASSWORD: "your-password",
},
node_args: "--max-old-space-size=512",
max_memory_restart: "300M",
},
],
};
```
### Docker
```bash
# ఇమేజ్ను బిల్డ్ చేయండి (డిఫాల్ట్ = codex/claude/droid ముందే ఇన్స్టాల్ చేయబడిన runner-cli)
docker build -t omniroute:cli .
# పోర్టబుల్ మోడ్ (సిఫార్సు చేయబడింది)
docker run -d --name omniroute -p 20128:20128 --env-file ./.env -v omniroute-data:/app/data omniroute:cli
```
CLI బైనరీలతో హోస్ట్-ఇంటిగ్రేటెడ్ మోడ్ కోసం, ప్రధాన డాక్యుమెంటేషన్లోని Docker విభాగాన్ని చూడండి.
### Void Linux (xbps-src)
Void Linux వినియోగదారులు `xbps-src` క్రాస్-కంపైలేషన్ ఫ్రేమ్వర్క్ను ఉపయోగించి OmniRouteను స్థానికంగా ప్యాకేజ్ చేసి ఇన్స్టాల్ చేయవచ్చు. ఇది అవసరమైన `better-sqlite3` నేటివ్ బైండింగ్లతో పాటు Node.js స్వతంత్ర బిల్డ్ను ఆటోమేట్ చేస్తుంది.
xbps-src టెంప్లేట్ను వీక్షించండి
```bash
# 'omniroute' కోసం టెంప్లేట్ ఫైల్
pkgname=omniroute
version=3.8.0
revision=1
hostmakedepends="nodejs python3 make"
depends="openssl"
short_desc="Universal AI gateway with smart routing for multiple LLM providers"
maintainer="zenobit "
license="MIT"
homepage="https://github.com/diegosouzapw/OmniRoute"
distfiles="https://github.com/diegosouzapw/OmniRoute/archive/refs/tags/v${version}.tar.gz"
checksum=009400afee90a9f32599d8fe734145cfd84098140b7287990183dde45ae2245b
system_accounts="_omniroute"
omniroute_homedir="/var/lib/omniroute"
export NODE_ENV=production
export npm_config_engine_strict=false
export npm_config_loglevel=error
export npm_config_fund=false
export npm_config_audit=false
do_build() {
# node-gyp కోసం లక్ష్య CPU ఆర్కిటెక్చర్ను నిర్ధారించండి
local _gyp_arch
case "$XBPS_TARGET_MACHINE" in
aarch64*) _gyp_arch=arm64 ;;
armv7*|armv6*) _gyp_arch=arm ;;
i686*) _gyp_arch=ia32 ;;
*) _gyp_arch=x64 ;;
esac
# 1) అన్ని డిపెండెన్సీలను ఇన్స్టాల్ చేయండి – స్క్రిప్ట్లను దాటవేయండి
NODE_ENV=development npm ci --ignore-scripts
# 2) Next.js స్వతంత్ర బండిల్ను బిల్డ్ చేయండి
npm run build
# 3) స్టాటిక్ అసెట్లను స్వతంత్ర బండిల్లోకి కాపీ చేయండి
cp -r .next/static .next/standalone/.next/static
[ -d public ] && cp -r public .next/standalone/public || true
# 4) better-sqlite3 నేటివ్ బైండింగ్ను కంపైల్ చేయండి
local _node_gyp=/usr/lib/node_modules/npm/node_modules/node-gyp/bin/node-gyp.js
(cd node_modules/better-sqlite3 && node "$_node_gyp" rebuild --arch="$_gyp_arch")
# 5) కంపైల్ చేసిన బైండింగ్ను స్వతంత్ర బండిల్లో ఉంచండి
local _bs3_release=.next/standalone/node_modules/better-sqlite3/build/Release
mkdir -p "$_bs3_release"
cp node_modules/better-sqlite3/build/Release/better_sqlite3.node "$_bs3_release/"
# 6) ఆర్కిటెక్చర్-నిర్దిష్ట sharp బండిల్లను తొలగించండి
rm -rf .next/standalone/node_modules/@img
# 7) Next.js స్టాటిక్ విశ్లేషణ విస్మరించిన pino రన్టైమ్ డిపెండెన్సీలను కాపీ చేయండి:
for _mod in pino-abstract-transport split2 process-warning; do
cp -r "node_modules/$_mod" .next/standalone/node_modules/
done
}
do_check() {
npm run test:unit
}
do_install() {
vmkdir usr/lib/omniroute/.next
vcopy .next/standalone/. usr/lib/omniroute/.next/standalone
# పోస్ట్-ఇన్స్టాల్ హుక్ ద్వారా ఖాళీ Next.js యాప్ రౌటర్ డైరెక్టరీలు తొలగించబడకుండా నిరోధించండి
for _d in \
.next/standalone/.next/server/app/dashboard \
.next/standalone/.next/server/app/dashboard/settings \
.next/standalone/.next/server/app/dashboard/providers; do
touch "${DESTDIR}/usr/lib/omniroute/${_d}/.keep"
done
cat > "${WRKDIR}/omniroute" <<'EOF'
#!/bin/sh
export PORT="${PORT:-20128}"
export DATA_DIR="${DATA_DIR:-${XDG_DATA_HOME:-${HOME}/.local/share}/omniroute}"
export APP_LOG_TO_FILE="${APP_LOG_TO_FILE:-false}"
mkdir -p "${DATA_DIR}"
exec node /usr/lib/omniroute/.next/standalone/server.js "$@"
EOF
vbin "${WRKDIR}/omniroute"
}
post_install() {
vlicense LICENSE
}
```
### ఎన్విరాన్మెంట్ వేరియబుల్స్
| వేరియబుల్ | డిఫాల్ట్ | వివరణ |
| --------------------------------------- | ------------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------- |
| `JWT_SECRET` | `omniroute-default-secret-change-me` | JWT సంతకం కోసం రహస్యం (**ప్రొడక్షన్లో మార్చండి**) |
| `INITIAL_PASSWORD` | `CHANGEME` | మొదటి లాగిన్ పాస్వర్డ్ |
| `DATA_DIR` | `~/.omniroute` | డేటా డైరెక్టరీ (db, వినియోగం, లాగ్లు) |
| `PORT` | ఫ్రేమ్వర్క్ డిఫాల్ట్ | సేవా పోర్ట్ (ఉదాహరణల్లో `20128`) |
| `HOSTNAME` | ఫ్రేమ్వర్క్ డిఫాల్ట్ | బైండ్ హోస్ట్ (Docker డిఫాల్ట్ `0.0.0.0`) |
| `NODE_ENV` | రన్టైమ్ డిఫాల్ట్ | డిప్లాయ్మెంట్ కోసం `production`గా సెట్ చేయండి |
| `NEXT_PUBLIC_BASE_URL` | `http://localhost:20128` | డాష్బోర్డ్లో చూపబడే మరియు సర్వర్కు అందుబాటులో ఉండే పబ్లిక్ బేస్ URL (లెగసీ `BASE_URL`ను భర్తీ చేస్తుంది) |
| `NEXT_PUBLIC_CLOUD_URL` | `https://omniroute.dev` | క్లౌడ్ సింక్ ఎండ్పాయింట్ బేస్ URL (లెగసీ `CLOUD_URL`ను భర్తీ చేస్తుంది) |
| `API_KEY_SECRET` | `endpoint-proxy-api-key-secret` | రూపొందించిన API కీల కోసం HMAC రహస్యం |
| `REQUIRE_API_KEY` | `false` | `/v1/*`పై Bearer API కీని తప్పనిసరి చేయండి |
| `ALLOW_API_KEY_REVEAL` | `false` | ప్రామాణీకరించబడిన డాష్బోర్డ్ వినియోగదారులు అభ్యర్థనపై నిల్వ చేసిన పూర్తి API కీ విలువలను చూసేందుకు అనుమతించండి |
| `PROVIDER_LIMITS_SYNC_INTERVAL_MINUTES` | `70` | క్యాష్ చేసిన ప్రొవైడర్ పరిమితుల డేటా కోసం సర్వర్-వైపు రిఫ్రెష్ వ్యవధి; UI రిఫ్రెష్ బటన్లు ఇప్పటికీ మాన్యువల్ సింక్ను ట్రిగ్గర్ చేస్తాయి |
| `DISABLE_SQLITE_AUTO_BACKUP` | `false` | రైట్/ఇంపోర్ట్/రిస్టోర్కు ముందు ఆటోమేటిక్ SQLite స్నాప్షాట్లను నిలిపివేయండి; మాన్యువల్ బ్యాకప్లు ఇప్పటికీ పనిచేస్తాయి |
| `APP_LOG_TO_FILE` | `true` | అప్లికేషన్ మరియు ఆడిట్ లాగ్ అవుట్పుట్ను డిస్క్లోకి ప్రారంభిస్తుంది |
| `AUTH_COOKIE_SECURE` | `false` | `Secure` ప్రామాణీకరణ కుకీని బలవంతం చేయండి (HTTPS రివర్స్ ప్రాక్సీ వెనుక) |
| `CLOUDFLARED_BIN` | సెట్ చేయబడలేదు | నిర్వహిత డౌన్లోడ్కు బదులుగా ఇప్పటికే ఉన్న `cloudflared` బైనరీని ఉపయోగించండి |
| `CLOUDFLARED_PROTOCOL` | `http2` | నిర్వహిత క్విక్ టన్నెల్స్ కోసం ట్రాన్స్పోర్ట్ (`http2`, `quic`, లేదా `auto`) |
| `OMNIROUTE_MEMORY_MB` | `512` | MBలో Node.js హీప్ పరిమితి |
| `PROMPT_CACHE_MAX_SIZE` | `50` | ప్రాంప్ట్ క్యాష్ ఎంట్రీల గరిష్ఠ సంఖ్య |
| `SEMANTIC_CACHE_MAX_SIZE` | `100` | సెమాంటిక్ క్యాష్ ఎంట్రీల గరిష్ఠ సంఖ్య |
పూర్తి ఎన్విరాన్మెంట్ వేరియబుల్ సూచన కోసం, [README](../README.md) చూడండి.
---
## 📊 అందుబాటులో ఉన్న మోడల్లు
అందుబాటులో ఉన్న అన్ని మోడల్లను చూడండి
> దిగువ జాబితా v3.8.0 కోసం `open-sse/config/providerRegistry.ts` నుండి ఎంపిక చేయబడింది. క్లౌడ్ కేటలాగ్లు (Gemini, OpenRouter మొదలైనవి) డైనమిక్గా సమకాలీకరించబడతాయి — పూర్తి లైవ్ కేటలాగ్ కోసం **Dashboard → Providers → [provider] → Available Models** తెరవండి లేదా `GET /api/models/catalog` కాల్ చేయండి.
>
> ప్రొవైడర్లో అంతర్నిర్మితంగా ఉన్న జాబితా తాజా స్థితికి భిన్నంగా ఉంటే, లైవ్ అప్స్ట్రీమ్ కేటలాగ్ను పొందడానికి ఆ పేజీలోని **Import from /models** ఉపయోగించండి (లేదా **Auto-Sync** ప్రారంభించండి). ఇది LLM7.io (`gemini-3.1-flash-lite`) మరియు UncloseAI (`solidrust/Hermes-3-Llama-3.1-8B-AWQ`) కోసం v3.8.50లో ధృవీకరించబడింది; అదే పరీక్షా సమయంలో Pollinations అనామక యాక్సెస్ అప్స్ట్రీమ్ పరిమితులతోనే కొనసాగింది.
**Claude Code (`cc/`)** — Pro/Max OAuth: `cc/claude-opus-4-8`, `cc/claude-opus-4-7`, `cc/claude-opus-4-6`, `cc/claude-opus-4-5-20251101`, `cc/claude-sonnet-4-6`, `cc/claude-sonnet-4-5-20250929`, `cc/claude-haiku-4-5-20251001`
**Codex (`cx/`)** — Plus/Pro OAuth: `cx/gpt-5.5` (+ శ్రమ స్థాయులు: `gpt-5.5-xhigh`, `gpt-5.5-high`, `gpt-5.5-medium`, `gpt-5.5-low`), `cx/gpt-5.4`, `cx/gpt-5.4-mini`, `cx/gpt-5.3-codex`, `cx/gpt-5.3-codex-spark`
**GitHub Copilot (`gh/`)** — OAuth: `gh/gpt-5.5`, `gh/gpt-5.4`, `gh/gpt-5.4-mini`, `gh/gpt-5-mini`, `gh/gpt-5.3-codex`, `gh/claude-opus-4.7`, `gh/claude-opus-4.6`, `gh/claude-opus-4-5-20251101`, `gh/claude-sonnet-4.6`, `gh/claude-sonnet-4.5`, `gh/claude-haiku-4.5`, `gh/gemini-3.1-pro-preview`, `gh/gemini-3-flash-preview`, `gh/oswe-vscode-prime`
**Kiro (`kr/`)** — ఉచిత OAuth: **Dashboard → Providers → Kiro → Available Models** కింద చూపబడే లైవ్ కేటలాగ్ను ఉపయోగించండి. లభ్యత ఖాతా మరియు ప్లాన్పై ఆధారపడి ఉంటుంది.
**Qoder (`if/`)** — ఉచిత OAuth: `if/qwen3.8-max-preview`, `if/qwen3.7-max`, `if/qwen3.7-plus`, `if/kimi-k3`, `if/kimi-k2.7-code`, `if/glm-5.2`, `if/deepseek-v4-pro`, `if/deepseek-v4-flash`, `if/minimax-m3`
**GLM (`glm/`, `glm-cn/`, `zai/`, `glmt/`)** — $0.2–0.6/1M: `glm/glm-5.1`, `glm/glm-5`, `glm/glm-5-turbo`, `glm/glm-4.7`, `glm/glm-4.7-flash`, `glm/glm-4.6`, `glm/glm-4.6v`, `glm/glm-4.5`, `glm/glm-4.5v`, `glm/glm-4.5-air`
**MiniMax (`minimax/`, `minimax-cn/`)** — $0.2/1M: `minimax/MiniMax-M2.7`, `minimax/MiniMax-M2.7-highspeed`, `minimax/MiniMax-M2.5`, `minimax/MiniMax-M2.5-highspeed`
**Kimi (`kimi/`, `kimi-coding/`, `kimi-coding-apikey/`)** — నెలకు స్థిరంగా $9 లేదా వినియోగం ఆధారంగా: `kimi/kimi-k2.6`, `kimi/kimi-k2.5`
**DeepSeek (`ds/`)** — API కీ: `ds/deepseek-v4-pro`, `ds/deepseek-v4-flash`
**Groq (`groq/`)** — అత్యంత వేగవంతమైనది: `groq/llama-3.3-70b-versatile`, `groq/meta-llama/llama-4-maverick-17b-128e-instruct`, `groq/qwen/qwen3-32b`, `groq/openai/gpt-oss-120b`
**xAI (`xai/`)** — స్థానిక Grok: `xai/grok-4.3`, `xai/grok-4.20-multi-agent-0309`, `xai/grok-4.20-0309-reasoning`, `xai/grok-4.20-0309-non-reasoning`
**Mistral (`mistral/`)** — EUలో హోస్ట్ చేయబడింది: `mistral/mistral-large-latest`, `mistral/mistral-medium-3-5`, `mistral/mistral-small-latest`, `mistral/devstral-latest`, `mistral/codestral-latest`
**Perplexity (`pplx/`)** — శోధనతో విస్తరించబడింది: `pplx/sonar-deep-research`, `pplx/sonar-reasoning-pro`, `pplx/sonar-pro`, `pplx/sonar`
**Together AI (`together/`)** — ఓపెన్ సోర్స్: `together/meta-llama/Llama-3.3-70B-Instruct-Turbo-Free` (ఉచితం), `together/meta-llama/Llama-Vision-Free`, `together/deepseek-ai/DeepSeek-R1-Distill-Llama-70B-Free`, `together/deepseek-ai/DeepSeek-R1`, `together/Qwen/Qwen3-235B-A22B`, `together/meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8`
**Fireworks AI (`fireworks/`)** — వేగవంతమైన ఇన్ఫరెన్స్: `fireworks/accounts/fireworks/models/kimi-k2p6`, `fireworks/accounts/fireworks/models/minimax-m2p7`, `fireworks/accounts/fireworks/models/qwen3p6-plus`, `fireworks/accounts/fireworks/models/glm-5p1`, `fireworks/accounts/fireworks/models/deepseek-v4-pro`
**Cerebras (`cerebras/`)** — వేఫర్ స్థాయి: `cerebras/zai-glm-4.7`, `cerebras/gpt-oss-120b`
**Cohere (`cohere/`)** — RAGపై దృష్టి కేంద్రీకరించబడింది: `cohere/command-a-reasoning-08-2025`, `cohere/command-a-vision-07-2025`, `cohere/command-a-03-2025`, `cohere/command-r-08-2024`
**NVIDIA NIM (`nvidia/`)** — ఎంటర్ప్రైజ్: `nvidia/z-ai/glm-5.1`, `nvidia/minimaxai/minimax-m2.7`, `nvidia/google/gemma-4-31b-it`, `nvidia/mistralai/mistral-small-4-119b-2603`, `nvidia/mistralai/mistral-large-3-675b-instruct-2512`, `nvidia/qwen/qwen3.5-397b-a17b`, `nvidia/deepseek-ai/deepseek-v4-pro`, `nvidia/openai/gpt-oss-120b`, `nvidia/nvidia/nemotron-3-super-120b-a12b`
**Baidu Qianfan (`qianfan/`)** — ERNIE: `qianfan/ernie-5.1`, `qianfan/ernie-5.0-thinking-latest`, `qianfan/ernie-x1.1`
**Ollama Cloud (`ollama-cloud/`)**: `ollama-cloud/deepseek-v4-pro`, `ollama-cloud/deepseek-v4-flash`, `ollama-cloud/kimi-k2.6`, `ollama-cloud/glm-5.1`, `ollama-cloud/minimax-m2.7`, `ollama-cloud/gemma4:31b`, `ollama-cloud/qwen3.5:397b`
**Gemini (Google Cloud `gemini/`)**: Google నుండి ప్రతి API కీకి లైవ్గా సమకాలీకరించబడుతుంది — స్థిరమైన జాబితా లేదు. **Dashboard → Providers**లో ఒక కీని కనెక్ట్ చేసి, ఆపై ప్రస్తుత కేటలాగ్ను దిగుమతి చేయడానికి **Available Models** ఉపయోగించండి (ఉదా. `gemini/gemini-3-pro`, `gemini/gemini-3-flash`).
**ఇతర అనుకూల ప్రొవైడర్లు** (ఎంపిక చేసినవి): `cohere`, `databricks`, `snowflake`, `together`, `vertex`, `alibaba`, `alibaba-cn`, `bedrock` (`aws-bedrock` ద్వారా), `azure-ai`, `openrouter` (పాస్త్రూ కేటలాగ్), `siliconflow`, `hyperbolic`, `huggingface`, `featherless-ai`, `cloudflare-ai`, `scaleway`, `deepinfra`, `vercel-ai-gateway`, `bazaarlink`, `friendliai`, `nous-research`, `reka`, `volcengine`, `ai21`, `gigachat`. ప్రతి ఒక్కటి `providerRegistry.ts`లో దాని స్వంత మోడల్ జాబితాను నిర్వహిస్తుంది మరియు ప్రొవైడర్ `/models` ఎండ్పాయింట్ను అందించినప్పుడు స్వయంచాలకంగా సమకాలీకరించవచ్చు.
**మోడల్ IDలపై గమనిక:** OmniRoute ప్రొవైడర్కు స్థానికమైన IDలను (`claude-opus-4-8`, `gpt-5.5`, `glm-5.1`, `MiniMax-M2.7`, `kimi-k2.5`, `grok-4.20-0309-reasoning`) ఉపయోగిస్తుంది. అప్స్ట్రీమ్ API వాటిని ఆ విధంగానే ఆశిస్తుంది కాబట్టి కొన్ని IDలలో చుక్కలతో కూడిన వెర్షన్లు ఉంటాయి. ఒక మోడల్ పైన జాబితా చేయబడకపోతే, లభ్యతను నిర్ధారించడానికి `omniroute models --search ` అమలు చేయండి లేదా `GET /api/models/catalog` అభ్యర్థించండి.
---
## 🧩 అధునాతన ఫీచర్లు
### అనుకూల మోడల్లు
యాప్ అప్డేట్ కోసం వేచి ఉండకుండా ఏ ప్రొవైడర్కైనా ఏదైనా మోడల్ IDని జోడించండి:
```bash
# API ద్వారా
curl -X POST http://localhost:20128/api/provider-models \
-H "Content-Type: application/json" \
-d '{"provider": "openai", "modelId": "gpt-5.2", "modelName": "GPT-5.2"}'
# జాబితా: curl http://localhost:20128/api/provider-models?provider=openai
# తొలగింపు: curl -X DELETE "http://localhost:20128/api/provider-models?provider=openai&model=gpt-5.2"
```
లేదా డ్యాష్బోర్డ్ను ఉపయోగించండి: **ప్రొవైడర్లు → [ప్రొవైడర్] → అనుకూల మోడల్లు**.
గమనికలు:
- OpenRouter మరియు OpenAI/Anthropic-అనుకూల ప్రొవైడర్లు **అందుబాటులో ఉన్న మోడల్లు** నుండి మాత్రమే నిర్వహించబడతారు. మాన్యువల్ జోడింపు, దిగుమతి మరియు ఆటో-సింక్ అన్నీ ఒకే అందుబాటులో ఉన్న మోడల్ల జాబితాలో చేరతాయి, కాబట్టి ఆ ప్రొవైడర్లకు ప్రత్యేక అనుకూల మోడల్ల విభాగం ఉండదు.
- నిర్వహిత అందుబాటులో ఉన్న మోడల్ దిగుమతులను అందించని ప్రొవైడర్ల కోసం **అనుకూల మోడల్లు** విభాగం ఉద్దేశించబడింది.
### అనుకూల OpenAI-అనుకూల ప్రొవైడర్లు
OpenAI APIతో కమ్యూనికేట్ చేయగల ఏ గేట్వేనైనా (స్వయంగా హోస్ట్ చేసిన ప్రాక్సీ, vLLM, మూడవ పక్ష అగ్రిగేటర్)
దాని స్వంత ప్రొవైడర్ నోడ్గా జోడించవచ్చు:
1. **ప్రొవైడర్లు → OpenAI అనుకూల ప్రొవైడర్ను జోడించండి**.
2. **పేరు**: నోడ్కు ప్రదర్శన లేబుల్.
3. **ప్రిఫిక్స్**: రూటింగ్ పేరు. క్లయింట్లు మోడల్లను `/` రూపంలో కాల్ చేస్తారు, కాబట్టి
`mygw` ప్రిఫిక్స్ గల నోడ్ `mygw/gpt-4o-mini`ని అందిస్తుంది. ఇది తప్పనిసరి; అక్షరాలపై ఎలాంటి పరిమితి లేదు.
4. **API రకం**: గేట్వే అందించే ఎండ్పాయింట్ కుటుంబం (చాట్ కంప్లీషన్లు, రెస్పాన్స్లు,
ఎంబెడ్డింగ్లు, ఆడియో, చిత్రాలు).
5. **బేస్ URL**: `/v1` వరకు, దానితో సహా, ఉండే API రూట్ (ఉదాహరణకు
`https://gateway.example.com/v1`), పూర్తి `/chat/completions` పాత్ కాదు. ప్రామాణికం కాని
పాత్లు గల గేట్వేలు వాటిని **అధునాతన సెట్టింగ్లు** కింద సెట్ చేస్తాయి (చాట్ పాత్, మోడల్ల పాత్).
6. **API కీ (తనిఖీ కోసం)** ఫీల్డ్ కనెక్షన్ను మాత్రమే పరీక్షిస్తుంది. నోడ్ను సృష్టించిన తర్వాత,
దాన్ని తెరిచి, అభ్యర్థనలు ఉపయోగించే కీని నిల్వ చేయడానికి **కనెక్షన్ను జోడించండి** ఉపయోగించండి.
నోడ్కు `openai-compatible--` రూపంలో అంతర్గత ID లభిస్తుంది; మీరు దాన్ని ఎప్పుడూ
టైప్ చేయాల్సిన అవసరం లేదు, ప్రిఫిక్సే పబ్లిక్ పేరు.
#### రిజర్వ్ చేసిన ప్రిఫిక్స్లు
ప్రిఫిక్స్ అనేది అంతర్నిర్మిత ప్రొవైడర్ ID లేదా అలియాస్ (ఉదాహరణకు `openai`, `cf`) గానీ,
విరమింపజేసిన ప్రొవైడర్ ID గానీ కాకూడదు. మోడల్ రిజాల్వర్ అనుకూల నోడ్లకు ముందు
అంతర్నిర్మిత IDలు మరియు అలియాస్లను తనిఖీ చేస్తుంది, కాబట్టి అలాంటి ప్రిఫిక్స్ను ఉపయోగించే నోడ్కు
ట్రాఫిక్ ఎప్పటికీ చేరదు: `/model` బదులుగా అంతర్నిర్మిత ప్రొవైడర్కు వెళ్తుంది, లేదా ఆ ప్రొవైడర్
విరమింపజేయబడి ఉంటే సురక్షితంగా విఫలమవుతుంది. అలాంటి ప్రిఫిక్స్తో నోడ్ను సృష్టించడం లేదా సవరించడం
ఈ సందేశంతో తిరస్కరించబడుతుంది:
```text
prefix: "" అనేది రిజర్వ్ చేసిన ప్రొవైడర్ ప్రిఫిక్స్ — వేరొక ప్రిఫిక్స్ను ఎంచుకోండి (రిజర్వ్ చేసిన IDలు/అలియాస్లను అనుకూల నోడ్ల కోసం ఉపయోగించలేరు, ఎందుకంటే /model వంటి అభ్యర్థనలు అంతర్నిర్మిత ప్రొవైడర్కు రూట్ అవుతాయి లేదా అది విరమింపజేయబడినప్పుడు సురక్షితంగా విఫలమవుతాయి)
```
ప్రత్యేకమైన ప్రిఫిక్స్ను ఎంచుకోండి (`mygw`, `acme-proxy`). అనుకూల నోడ్కు పంపిన అభ్యర్థనలు
అంతర్నిర్మిత ప్రొవైడర్ లేదా దాని క్రెడెన్షియల్లను పేర్కొనే లోపంతో విఫలమైతే, నోడ్ ప్రిఫిక్స్
రిజర్వ్ చేయబడిందో లేదో తనిఖీ చేయండి: ఈ నియమం అమల్లోకి రాకముందు సేవ్ చేసిన నోడ్లు ఇప్పటికీ
నిల్వలో ఉంటాయి, కానీ వాటి ప్రిఫిక్స్ అంతర్నిర్మిత ప్రొవైడర్కు రూట్ అవుతుంది. నోడ్ను సవరించి,
దానికి కొత్త ప్రిఫిక్స్ ఇవ్వండి.
### OmniRoute పీర్లను చైన్ చేయడం
మరొక OmniRoute గేట్వేను **అనుకూల OpenAI-అనుకూల** ప్రొవైడర్గా జోడించవచ్చు. ఆ పీర్కు చెందిన
`/v1` బేస్ URLను మరియు ఆ పీర్ జారీ చేసిన ప్రత్యేకమైన, కనిష్ఠ-అధికార API కీని ఉపయోగించండి.
పరస్పర లేదా బహుళ-హాప్ చైన్ల కోసం, ప్రతి గేట్వేపై ఆప్ట్-ఇన్ లూప్ గార్డ్ను ప్రారంభించండి:
```bash
# gateway-a
OMNIROUTE_INSTANCE_ID=gateway-a
OMNIROUTE_PEER_URLS=http://gateway-b:20128/v1
OMNIROUTE_PEER_MAX_HOPS=4
```
```bash
# gateway-b
OMNIROUTE_INSTANCE_ID=gateway-b
OMNIROUTE_PEER_URLS=http://gateway-a:20128/v1
OMNIROUTE_PEER_MAX_HOPS=4
```
స్పష్టంగా అనుమతుల జాబితాలో చేర్చిన పీర్ URLకు పంపిన అభ్యర్థనలు మాత్రమే
`X-OmniRoute-Peer-Trace` హెడర్ను పొందుతాయి. పునరావృతమైన ఇన్స్టాన్స్ ID లేదా అయిపోయిన హాప్
బడ్జెట్ను గేట్వే HTTP `508 Loop Detected`తో తిరస్కరిస్తుంది; సాధారణ అప్స్ట్రీమ్ ప్రొవైడర్లకు
ఎలాంటి పీర్ మెటాడేటా అందదు.
పీర్ చైనింగ్ అనేది డేటాబేస్ రెప్లికేషన్ లేదా హోస్ట్ ఫెయిల్ఓవర్ కాదు. ప్రతి గేట్వే స్వతంత్ర
SQLite స్థితి, క్యాష్లు, రేట్ కౌంటర్లు మరియు సెషన్లను నిర్వహిస్తుంది. యాక్టివ్/ప్యాసివ్ లేదా
యాక్టివ్/యాక్టివ్ లభ్యత కోసం ఆరోగ్య-తనిఖీ గల రివర్స్ ప్రాక్సీ లేదా క్లయింట్ ఫెయిల్ఓవర్ను ఉపయోగించండి,
అలాగే ఒక SQLite డేటాబేస్ను ఒకేసారి నడుస్తున్న అనేక OmniRoute ఇన్స్టాన్స్లకు ఎప్పుడూ మౌంట్ చేయవద్దు.
### ప్రత్యేక ప్రొవైడర్ రూట్లు
మోడల్ ధ్రువీకరణతో అభ్యర్థనలను నేరుగా నిర్దిష్ట ప్రొవైడర్కు రూట్ చేయండి:
```bash
POST http://localhost:20128/v1/providers/openai/chat/completions
POST http://localhost:20128/v1/providers/openai/embeddings
POST http://localhost:20128/v1/providers/fireworks/images/generations
```
ప్రొవైడర్ ప్రిఫిక్స్ లేకపోతే అది స్వయంచాలకంగా జోడించబడుతుంది. సరిపోలని మోడల్లు `400`ను అందిస్తాయి.
### నెట్వర్క్ ప్రాక్సీ కాన్ఫిగరేషన్
```bash
# గ్లోబల్ ప్రాక్సీని సెట్ చేయండి
curl -X PUT http://localhost:20128/api/settings/proxy \
-d '{"global": {"type":"http","host":"proxy.example.com","port":"8080"}}'
# ప్రతి ప్రొవైడర్కు ప్రత్యేక ప్రాక్సీ
curl -X PUT http://localhost:20128/api/settings/proxy \
-d '{"providers": {"openai": {"type":"socks5","host":"proxy.example.com","port":"1080"}}}'
# ప్రాక్సీని పరీక్షించండి
curl -X POST http://localhost:20128/api/settings/proxy/test \
-d '{"proxy":{"type":"socks5","host":"proxy.example.com","port":"1080"}}'
```
**ప్రాధాన్యత క్రమం:** కీ-నిర్దిష్ట → కాంబో-నిర్దిష్ట → ప్రొవైడర్-నిర్దిష్ట → గ్లోబల్ → ఎన్విరాన్మెంట్.
### మోడల్ కేటలాగ్ API
```bash
curl http://localhost:20128/api/models/catalog
```
రకాలతో (`chat`, `embedding`, `image`) ప్రొవైడర్ వారీగా సమూహీకరించిన మోడల్లను అందిస్తుంది.
### క్లౌడ్ సింక్
- పరికరాల మధ్య ప్రొవైడర్లు, కాంబోలు మరియు సెట్టింగ్లను సింక్ చేయండి
- టైమ్అవుట్ + ఫెయిల్-ఫాస్ట్తో ఆటోమేటిక్ బ్యాక్గ్రౌండ్ సింక్
- ప్రొడక్షన్లో సర్వర్-సైడ్ `NEXT_PUBLIC_BASE_URL`/`NEXT_PUBLIC_CLOUD_URL`కు ప్రాధాన్యం ఇవ్వండి
### Cloudflare క్విక్ టన్నెల్
- Docker మరియు ఇతర self-hosted deploymentల కోసం **Dashboard → Endpoints**లో అందుబాటులో ఉంటుంది
- మీ ప్రస్తుత OpenAI-compatible `/v1` endpointకు ఫార్వర్డ్ చేసే తాత్కాలిక `https://*.trycloudflare.com` URLను సృష్టిస్తుంది
- మొదటిసారి ప్రారంభించినప్పుడు, అవసరమైతే మాత్రమే `cloudflared`ను ఇన్స్టాల్ చేస్తుంది; తర్వాతి restartలలో అదే నిర్వహిత binaryని మళ్లీ ఉపయోగిస్తుంది
- OmniRoute లేదా container restart తర్వాత Quick Tunnelలు స్వయంచాలకంగా పునరుద్ధరించబడవు; అవసరమైనప్పుడు dashboard నుండి వాటిని మళ్లీ ప్రారంభించండి
- Tunnel URLలు తాత్కాలికమైనవి మరియు మీరు tunnelను stop/start చేసిన ప్రతిసారీ మారతాయి
- పరిమిత వనరులున్న containerలలో అధికంగా కనిపించే QUIC UDP buffer హెచ్చరికలను నివారించడానికి, నిర్వహిత Quick Tunnelలు డిఫాల్ట్గా HTTP/2 transportను ఉపయోగిస్తాయి
- నిర్వహిత transport ఎంపికను override చేయాలనుకుంటే `CLOUDFLARED_PROTOCOL=quic` లేదా `auto`గా సెట్ చేయండి
- నిర్వహిత downloadకు బదులుగా ముందే ఇన్స్టాల్ చేసిన `cloudflared` binaryని ఉపయోగించాలనుకుంటే `CLOUDFLARED_BIN`ను సెట్ చేయండి
- Cloudflare Quick Tunnel, Tailscale Funnel మరియు ngrok Tunnel panelలను **Settings → Appearance**లో చూపించవచ్చు లేదా దాచవచ్చు. ఒక panelను దాచడం వల్ల నడుస్తున్న tunnel ఆగదు.
### LLM Gateway ఇంటెలిజెన్స్ (దశ 9)
- **Semantic Cache** — streaming కాని, temperature=0 responseలను స్వయంచాలకంగా cache చేస్తుంది (`X-OmniRoute-No-Cache: true`తో bypass చేయవచ్చు)
- **Request Idempotency** — `Idempotency-Key` లేదా `X-Request-Id` header ద్వారా 5s వ్యవధిలోని requestలను deduplicate చేస్తుంది
- **Progress Tracking** — `X-OmniRoute-Progress: true` header ద్వారా ఎంచుకుని ప్రారంభించగల SSE `event: progress` eventలు
---
### Translator Playground
**Dashboard → Translator** ద్వారా యాక్సెస్ చేయండి. providerల మధ్య OmniRoute API requestలను ఎలా అనువదిస్తుందో debug చేసి, దృశ్యరూపంలో చూడండి.
| మోడ్ | ఉద్దేశ్యం |
| ---------------- | -------------------------------------------------------------------------------------------- |
| **Playground** | source/target formatలను ఎంచుకుని, requestను paste చేసి, అనువదించిన outputను తక్షణమే చూడండి |
| **Chat Tester** | proxy ద్వారా ప్రత్యక్ష chat messageలను పంపించి, పూర్తి request/response cycleను పరిశీలించండి |
| **Test Bench** | అనువాదం సరైనదని ధృవీకరించడానికి అనేక format కలయికలపై batch testలను అమలు చేయండి |
| **Live Monitor** | requestలు proxy ద్వారా ప్రవహిస్తున్నప్పుడు real-time అనువాదాలను చూడండి |
**వినియోగ సందర్భాలు:**
- ఒక నిర్దిష్ట client/provider కలయిక ఎందుకు విఫలమవుతుందో debug చేయడం
- thinking tagలు, tool callలు మరియు system promptలు సరిగ్గా అనువదించబడుతున్నాయని ధృవీకరించడం
- OpenAI, Claude, Gemini మరియు Responses API formatల మధ్య తేడాలను పోల్చడం
---
### Routing వ్యూహాలు
**Dashboard → Settings → Routing** ద్వారా కాన్ఫిగర్ చేయండి. dashboard అత్యధికంగా ఉపయోగించే ఆరు వ్యూహాలను అందిస్తుంది; comboలు మరియు auto-router అంతర్గతంగా మరింత విస్తృతమైన సమితికి మద్దతు ఇస్తాయి.
**Dashboardలో కనిపించే వ్యూహాలు (account-level routing):**
| వ్యూహం | వివరణ |
| ------------------------------ | -------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **Fill First** | ప్రాధాన్యత క్రమంలో accountలను ఉపయోగిస్తుంది — primary account అందుబాటులో లేనంతవరకు అన్ని requestలను అదే నిర్వహిస్తుంది |
| **Round Robin** | కాన్ఫిగర్ చేయగల sticky limitతో అన్ని accountలను చక్రీయంగా ఉపయోగిస్తుంది (డిఫాల్ట్: ప్రతి accountకు 3 callలు) |
| **P2C (Power of Two Choices)** | యాదృచ్ఛికంగా 2 accountలను ఎంచుకుని, వాటిలో మెరుగైన ఆరోగ్య స్థితిలో ఉన్నదానికి route చేస్తుంది — ఆరోగ్య స్థితిని పరిగణనలోకి తీసుకుంటూ loadను సమతుల్యం చేస్తుంది |
| **Random** | Fisher-Yates shuffleను ఉపయోగించి ప్రతి request కోసం యాదృచ్ఛికంగా ఒక accountను ఎంచుకుంటుంది |
| **Least Used** | అత్యంత పాత `lastUsedAt` timestamp ఉన్న accountకు route చేస్తూ, trafficను సమానంగా పంపిణీ చేస్తుంది |
| **Cost Optimized** | అత్యల్ప priority value ఉన్న accountకు route చేస్తూ, అతి తక్కువ ఖర్చు గల providerల కోసం optimize చేస్తుంది |
**అధునాతన combo మరియు auto వ్యూహాలు** (ప్రతి comboకు విడిగా లేదా `auto/*` prefixల ద్వారా కాన్ఫిగర్ చేయవచ్చు — [AUTO-COMBO.md](../routing/AUTO-COMBO.md) చూడండి):
- `priority` — ఖచ్చితమైన క్రమం, ఎప్పుడూ round-robin చేయదు
- `weighted` — ప్రతి model weight ఆధారంగా అనుపాత traffic విభజన
- `fill-first` — limit చేరుకునే వరకు మొదటి modelను పూర్తిగా ఉపయోగిస్తుంది
- `round-robin` / `strict-random` / `random`
- `p2c` (Power of Two Choices)
- `least-used` మరియు `cost-optimized`
- `auto` — అన్ని candidateలలో score ఆధారంగా ఎంపిక
- `lkgp` (Last Known Good Provider) — చివరిగా విజయవంతమైన providerకే స్థిరపరుస్తుంది, ఆపై ruleలకు fallback అవుతుంది
- `context-optimized` — అత్యధిక ఖాళీ context window ఉన్న modelను ఎంచుకుంటుంది
- `context-relay` — తదుపరి turnల కోసం long-context modelలను chain చేస్తుంది
#### బాహ్య Sticky Session Header
బాహ్య session affinity కోసం (ఉదాహరణకు, reverse proxyల వెనుక ఉన్న Claude Code/Codex agentలు), దీన్ని పంపండి:
```http
X-Session-Id: your-session-key
```
OmniRoute `x_session_id`ను కూడా అంగీకరిస్తుంది మరియు ప్రభావవంతమైన session keyని `X-OmniRoute-Session-Id`లో తిరిగి అందిస్తుంది.
మీరు Nginx ఉపయోగిస్తూ underscore రూపంలోని headerలను పంపితే, దీన్ని ప్రారంభించండి:
```nginx
underscores_in_headers on;
```
#### Wildcard Model Aliasలు
model పేర్లను remap చేయడానికి wildcard patternలను సృష్టించండి:
```
Pattern: claude-sonnet-* → Target: cc/claude-sonnet-4-6
Pattern: gpt-* → Target: gh/gpt-5.3-codex
```
Wildcardలు `*` (ఏవైనా అక్షరాలు) మరియు `?` (ఒకే అక్షరం)కు మద్దతు ఇస్తాయి.
#### Fallback Chainలు
అన్ని requestలకు వర్తించే global fallback chainలను నిర్వచించండి:
```
Chain: production-fallback
1. cc/claude-opus-4-7
2. gh/gpt-5.3-codex
3. glm/glm-4.7
```
---
### సాధారణ Provider కలయికలు & Routing నమూనాలు
OmniRouteలో అనేక providerలను కలపడానికి మరియు వాటి మధ్య routing చేయడానికి కొన్ని ఉదాహరణ నమూనాలు ఇక్కడ ఉన్నాయి:
#### 1. Coding Agent Combo: ఖర్చు/వేగం Fallbackతో అత్యున్నత స్థాయి Reasoning
coding agentలకు (OpenCode, Claude Code, Cursor, Cline) అనువైనది. ప్రారంభంలో frontier reasoning modelలకు route చేసి, quota ముగిసినప్పుడు లేదా errorలు సంభవించినప్పుడు వేగవంతమైన coding modelలకు fallback అవుతుంది.
- **Dashboard**: Combos → New Combo → Name: `agent-coding` → Strategy: `Priority`
- **Modelలు**:
1. `claude/claude-sonnet-4-6` (Primary coding agent)
2. `openai/gpt-4o` (Secondary high-capacity fallback)
3. `deepseek/deepseek-v4-flash` (అధిక సామర్థ్యం, తక్కువ ఖర్చుతో కూడిన fallback)
```bash
# API ద్వారా ఉదాహరణ
curl -X POST http://localhost:20128/api/combos \
-H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "agent-coding",
"strategy": "priority",
"models": [
{ "model": "claude/claude-sonnet-4-6" },
{ "model": "openai/gpt-4o" },
{ "model": "deepseek/deepseek-v4-flash" }
]
}'
```
#### 2. ఉచిత-స్థాయి ఆటోమేటిక్ ఫెయిల్ఓవర్ కాంబో
API ఖర్చులు లేకుండా అప్టైమ్ను గరిష్ఠం చేయడానికి అనేక ఉచిత-స్థాయి మరియు కీ అవసరం లేని ప్రొవైడర్లను వరుసగా అనుసంధానిస్తుంది.
- **వ్యూహం**: `Least Used` లేదా `Round Robin` (కోటాల మధ్య లోడ్ను పంపిణీ చేస్తుంది)
- **మోడళ్లు**:
1. `groq/llama-3.3-70b-versatile`
2. `gemini/gemini-2.5-flash`
3. `cerebras/gpt-oss-120b`
```bash
# CLI ద్వారా ఉదాహరణ
omniroute combo create free-stack \
--models "groq/llama-3.3-70b-versatile,gemini/gemini-2.5-flash,cerebras/gpt-oss-120b" \
--strategy round-robin
```
#### 3. మల్టీమోడల్ / విజన్ & టెక్స్ట్ పైప్లైన్
చిత్రాలను అర్థం చేసుకోవడం మరియు కోడ్ జనరేషన్తో కూడిన వర్క్ఫ్లోల కోసం ప్రత్యేక విజన్ మోడళ్లను హై-స్పీడ్ టెక్స్ట్ జనరేషన్తో జత చేస్తుంది.
- **నమూనా**: ముందుగా విజన్ సామర్థ్యం గల మోడళ్లను, చివరగా అధిక త్రూపుట్ గల టెక్స్ట్/కోడ్ మోడల్ను జాబితా చేసే `Priority` కాంబో.
- **మోడళ్లు**:
1. `gemini/gemini-2.5-pro` (చిత్రాలు/మల్టీమోడల్ కంటెంట్ను బలంగా అర్థం చేసుకునే సామర్థ్యం)
2. `openai/gpt-4o` (విజన్ మరియు టూల్ వినియోగంలో సమతుల్యత)
3. `deepseek/deepseek-v4-flash` (టెక్స్ట్/కోడ్ జనరేషన్)
---
### స్థితిస్థాపకత & సర్క్యూట్ బ్రేకర్లు
**Dashboard → Settings → Resilience** ద్వారా కాన్ఫిగర్ చేయండి.
OmniRoute ఐదు భాగాలతో ప్రొవైడర్-స్థాయి స్థితిస్థాపకతను అమలు చేస్తుంది:
1. **రిక్వెస్ట్ క్యూ & పేసింగ్** — సిస్టమ్-స్థాయి రిక్వెస్ట్ షేపింగ్:
- **నిమిషానికి రిక్వెస్ట్లు (RPM)** — ఒక్కో ఖాతాకు నిమిషానికి అనుమతించబడే గరిష్ఠ రిక్వెస్ట్లు
- **రిక్వెస్ట్ల మధ్య కనిష్ఠ సమయం** — రిక్వెస్ట్ల మధ్య మిల్లీసెకన్లలో కనిష్ఠ విరామం
- **గరిష్ఠ సమకాలీన రిక్వెస్ట్లు** — ఒక్కో ఖాతాకు గరిష్ఠంగా అనుమతించబడే ఏకకాల రిక్వెస్ట్లు
2. **కనెక్షన్ కూల్డౌన్** — మళ్లీ ప్రయత్నించగల వైఫల్యాల తర్వాత ఒక కనెక్షన్ కోసం ప్రతి ఆత్-రకానికి ప్రత్యేక కాన్ఫిగరేషన్:
- **బేస్ కూల్డౌన్** — మళ్లీ ప్రయత్నించగల అప్స్ట్రీమ్ వైఫల్యాల కోసం డిఫాల్ట్ కూల్డౌన్ వ్యవధి
- **అప్స్ట్రీమ్ రీట్రై సూచనలను ఉపయోగించండి** — అందుబాటులో ఉన్నప్పుడు ప్రామాణిక `Retry-After` లేదా రీసెట్ సూచనలను గౌరవిస్తుంది
- **గరిష్ఠ బ్యాక్ఆఫ్ దశలు** — పునరావృత వైఫల్యాల కోసం గరిష్ఠ ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్ స్థాయి
3. **ప్రొవైడర్ సర్క్యూట్ బ్రేకర్** — ఎండ్-టు-ఎండ్ ప్రొవైడర్ వైఫల్యాలను ట్రాక్ చేస్తుంది, కాన్ఫిగర్ చేసిన హెచ్చరిక పరిమితి వద్ద ప్రొవైడర్ను క్షీణించిన స్థితిలో ఉన్నట్లు గుర్తిస్తుంది మరియు కాన్ఫిగర్ చేసిన వైఫల్య పరిమితి చేరుకున్నప్పుడు బ్రేకర్ను తెరుస్తుంది:
- **క్షీణత పరిమితి** — `DEGRADED` స్థితిలోకి ప్రవేశించే ముందు సంభవించే వరుస ప్రొవైడర్ వైఫల్యాలు
- **వైఫల్య పరిమితి** — `OPEN` స్థితిలోకి ప్రవేశించే ముందు సంభవించే వరుస ప్రొవైడర్ వైఫల్యాలు
- **రీసెట్ టైమ్అవుట్** — ప్రొవైడర్ను మళ్లీ పరీక్షించే ముందు వేచి ఉండే సమయ వ్యవధి
- **CLOSED** (ఆరోగ్యకరం) — రిక్వెస్ట్లు సాధారణంగా ప్రవహిస్తాయి
- **DEGRADED** — పెరిగిన వైఫల్యాలను ట్రాక్ చేస్తున్నప్పటికీ రిక్వెస్ట్లు ప్రవహిస్తూనే ఉంటాయి
- **OPEN** — పునరావృత వైఫల్యాల తర్వాత ప్రొవైడర్ తాత్కాలికంగా బ్లాక్ చేయబడుతుంది
- **HALF_OPEN** — ప్రొవైడర్ కోలుకుందో లేదో పరీక్షిస్తుంది
కనెక్షన్ పరిధికి చెందిన `429` రేట్ లిమిట్లు **కనెక్షన్ కూల్డౌన్**లోనే ఉంటాయి మరియు ప్రొవైడర్ బ్రేకర్ గణనలోకి రావు.
ప్రొవైడర్ బ్రేకర్ రన్టైమ్ స్థితి **Dashboard → Health**లో మాత్రమే చూపబడుతుంది.
4. **కూల్డౌన్ కోసం వేచి ఉండటం** — ప్రతి అభ్యర్థి కనెక్షన్ ఇప్పటికే కూల్డౌన్లో ఉంటే, OmniRoute అత్యంత త్వరగా ముగిసే కూల్డౌన్ కోసం వేచి ఉండి, అదే క్లయింట్ రిక్వెస్ట్ను ఆటోమేటిక్గా మళ్లీ ప్రయత్నించగలదు.
5. **రేట్ లిమిట్ ఆటో-డిటెక్షన్** — అప్స్ట్రీమ్ ప్రొవైడర్లు స్పష్టమైన నిరీక్షణ వ్యవధులను అందించినప్పుడు, ఈ సెట్టింగ్ ప్రారంభించబడి ఉంటే ఆ సూచనలు స్థానిక కనెక్షన్ కూల్డౌన్ను ఓవర్రైడ్ చేస్తాయి.
**నిపుణుల చిట్కా:** అవుటేజ్ తర్వాత లైవ్ ప్రొవైడర్ బ్రేకర్లను పరిశీలించడానికి మరియు రీసెట్ చేయడానికి **Health** పేజీని ఉపయోగించండి. Resilience పేజీ కాన్ఫిగరేషన్ను మాత్రమే మారుస్తుంది.
---
### డేటాబేస్ ఎక్స్పోర్ట్ / ఇంపోర్ట్
**Dashboard → Settings → System & Storage**లో డేటాబేస్ బ్యాకప్లను నిర్వహించండి.
| చర్య | వివరణ |
| ------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **డేటాబేస్ను ఎక్స్పోర్ట్ చేయండి** | ప్రస్తుత SQLite డేటాబేస్ను `.sqlite` ఫైల్గా డౌన్లోడ్ చేస్తుంది |
| **అన్నింటినీ ఎక్స్పోర్ట్ చేయండి (.tar.gz)** | డేటాబేస్, సెట్టింగ్లు, కాంబోలు, ప్రొవైడర్ కనెక్షన్లు (క్రెడెన్షియల్లు లేకుండా), API కీ మెటాడేటాతో కూడిన పూర్తి బ్యాకప్ ఆర్కైవ్ను డౌన్లోడ్ చేస్తుంది |
| **డేటాబేస్ను ఇంపోర్ట్ చేయండి** | ప్రస్తుత డేటాబేస్ను భర్తీ చేయడానికి `.sqlite` ఫైల్ను అప్లోడ్ చేస్తుంది. `DISABLE_SQLITE_AUTO_BACKUP=true` అయితే తప్ప, ఇంపోర్ట్కు ముందు బ్యాకప్ ఆటోమేటిక్గా సృష్టించబడుతుంది |
```bash
# API: డేటాబేస్ను ఎక్స్పోర్ట్ చేయండి
curl -o backup.sqlite http://localhost:20128/api/db-backups/export
# API: అన్నింటినీ ఎక్స్పోర్ట్ చేయండి (పూర్తి ఆర్కైవ్)
curl -o backup.tar.gz http://localhost:20128/api/db-backups/exportAll
# API: డేటాబేస్ను ఇంపోర్ట్ చేయండి
curl -X POST http://localhost:20128/api/db-backups/import \
-F "file=@backup.sqlite"
```
**ఇంపోర్ట్ ధ్రువీకరణ:** ఇంపోర్ట్ చేసిన ఫైల్ సమగ్రత (SQLite pragma తనిఖీ), అవసరమైన పట్టికలు (`provider_connections`, `provider_nodes`, `combos`, `api_keys`) మరియు పరిమాణం (గరిష్ఠంగా 100MB) కోసం ధ్రువీకరించబడుతుంది.
**వినియోగ సందర్భాలు:**
- OmniRouteను ఒక మెషీన్ నుండి మరొక మెషీన్కు మైగ్రేట్ చేయడం
- విపత్తు పునరుద్ధరణ కోసం బాహ్య బ్యాకప్లను సృష్టించడం
- బృంద సభ్యుల మధ్య కాన్ఫిగరేషన్లను పంచుకోవడం (అన్నింటినీ ఎక్స్పోర్ట్ చేయండి → ఆర్కైవ్ను పంచుకోండి)
---
### సెట్టింగ్ల డ్యాష్బోర్డ్
సులభమైన నావిగేషన్ కోసం సెట్టింగ్ల పేజీ **7 ట్యాబ్లు**గా నిర్వహించబడింది:
| ట్యాబ్ | విషయాలు |
| ------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **సాధారణం** | సిస్టమ్ నిల్వ సాధనాలు, డిఫాల్ట్ ప్రవర్తన, Endpoint టన్నెల్ దృశ్యమానత |
| **రూపం** | థీమ్ నియంత్రణలు (లైట్/డార్క్/సిస్టమ్), సైడ్బార్ దృశ్యమానత, Cloudflare/Tailscale/ngrok టన్నెల్ కార్డ్ల కోసం ప్యానెల్ టాగుల్లు |
| **AI** | థింకింగ్ బడ్జెట్ (పాస్త్రూ / ఆటో-స్ట్రిప్ / కస్టమ్ / అడాప్టివ్ — [THINKING_BUDGET.md](./THINKING_BUDGET.md) చూడండి), గ్లోబల్ సిస్టమ్ ప్రాంప్ట్, ప్రాంప్ట్ క్యాష్ గణాంకాలు |
| **భద్రత** | లాగిన్/పాస్వర్డ్ సెట్టింగ్లు, IP యాక్సెస్ నియంత్రణ, `/models` కోసం API ప్రమాణీకరణ, ప్రొవైడర్ బ్లాకింగ్, ప్రాంప్ట్-ఇంజెక్షన్ రక్షణ |
| **రూటింగ్** | గ్లోబల్ రూటింగ్ వ్యూహం (మొదటిదాన్ని నింపు / రౌండ్ రాబిన్ / P2C / యాదృచ్ఛికం / అతి తక్కువగా ఉపయోగించినది / ఖర్చు-ఆప్టిమైజ్డ్), వైల్డ్కార్డ్ మోడల్ అలియాస్లు, ఫాల్బ్యాక్ చైన్లు, కాంబో డిఫాల్ట్లు |
| **స్థిరత్వం** | అభ్యర్థన క్యూ, కనెక్షన్ కూల్డౌన్, ప్రొవైడర్ బ్రేకర్ కాన్ఫిగరేషన్ మరియు కూల్డౌన్ కోసం వేచి ఉండే ప్రవర్తన |
| **అధునాతనం** | గ్లోబల్ ప్రాక్సీ కాన్ఫిగరేషన్ (HTTP/SOCKS5), ప్రతి ప్రొవైడర్కు ప్రత్యేక ప్రాక్సీ ఓవర్రైడ్లు |
సాధారణ ట్యాబ్ ఇకపై చదవడానికి మాత్రమే అనుమతించే లాగింగ్ మరియు క్యాష్ గమనికలను నకలు చేయదు. డేటాబేస్ నిలుపుదల మరియు
ఆప్టిమైజేషన్ సెట్టింగ్లు `/api/settings/database` ద్వారా శాశ్వతంగా నిల్వ చేయబడతాయి; క్యాష్ను మాన్యువల్గా క్లియర్ చేయడానికి
`DELETE /api/cache` ఉపయోగించబడుతుంది. అభ్యర్థన మరియు ప్రాక్సీ లాగ్ వరుసల పరిమితులు
`CALL_LOGS_TABLE_MAX_ROWS` మరియు `PROXY_LOGS_TABLE_MAX_ROWS` ద్వారా నియంత్రించబడతాయి.
---
### ఖర్చులు & బడ్జెట్ నిర్వహణ
**డ్యాష్బోర్డ్ → ఖర్చులు** ద్వారా యాక్సెస్ చేయండి.
| ట్యాబ్ | ఉద్దేశ్యం |
| ----------- | --------------------------------------------------------------------------------------------------------- |
| **బడ్జెట్** | రోజువారీ/వారపు/నెలవారీ బడ్జెట్లు మరియు రియల్-టైమ్ ట్రాకింగ్తో ప్రతి API కీకి ఖర్చు పరిమితులను సెట్ చేయండి |
| **ధరలు** | మోడల్ ధరల ఎంట్రీలను వీక్షించి, సవరించండి — ప్రతి ప్రొవైడర్కు 1K ఇన్పుట్/అవుట్పుట్ టోకెన్లకు ఖర్చు |
```bash
# API: బడ్జెట్ను సెట్ చేయండి
curl -X POST http://localhost:20128/api/usage/budget \
-H "Content-Type: application/json" \
-d '{"keyId": "key-123", "limit": 50.00, "period": "monthly"}'
# API: ప్రస్తుత బడ్జెట్ స్థితిని పొందండి
curl http://localhost:20128/api/usage/budget
```
**ఖర్చు ట్రాకింగ్:** ప్రతి అభ్యర్థన టోకెన్ వినియోగాన్ని లాగ్ చేస్తుంది మరియు ధరల పట్టికను ఉపయోగించి ఖర్చును లెక్కిస్తుంది. ప్రొవైడర్, మోడల్ మరియు API కీ వారీగా విభజనలను **డ్యాష్బోర్డ్ → వినియోగం**లో వీక్షించండి.
---
### ఆడియో ట్రాన్స్క్రిప్షన్
OmniRoute, OpenAI-అనుకూల Endpoint ద్వారా ఆడియో ట్రాన్స్క్రిప్షన్కు మద్దతు ఇస్తుంది:
```bash
POST /v1/audio/transcriptions
Authorization: Bearer your-api-key
Content-Type: multipart/form-data
# curlతో ఉదాహరణ
curl -X POST http://localhost:20128/v1/audio/transcriptions \
-H "Authorization: Bearer your-api-key" \
-F "file=@audio.mp3" \
-F "model=openai/whisper-1"
```
`deepgram/nova-3` అనేది స్థానిక Deepgram రూట్ మరియు దీనికి Deepgram API కీ అవసరం.
OpenRouter మాత్రమే కాన్ఫిగర్ చేయబడి ఉంటే, `openrouter/deepgram/nova-3` ఉపయోగించండి.
**స్పీచ్-టు-టెక్స్ట్ (ట్రాన్స్క్రిప్షన్)** ప్రొవైడర్లు:
- `openai/` (whisper-అనుకూలం)
- `groq/` (Groq Whisper Turbo)
- `deepgram/` (Nova కుటుంబం)
- `assemblyai/`
- `nvidia/` (Parakeet, Canary)
- `huggingface/` (whisper వేరియంట్లు)
- `qwen/`
**టెక్స్ట్-టు-స్పీచ్ (`POST /v1/audio/speech`)** ప్రొవైడర్లు:
- `openai/` (tts-1, tts-1-hd)
- `hyperbolic/`
- `deepgram/` (Aura)
- `nvidia/` (Magpie TTS)
- `elevenlabs/`
- `huggingface/`
- `inworld/`
- `cartesia/`
- `playht/`
- `kie/`
- `aws-polly/`
- `xiaomi-mimo/`
- `coqui/`, `tortoise/`
- `qwen/`
ట్రాన్స్క్రిప్షన్ కోసం మద్దతు ఉన్న ఆడియో ఫార్మాట్లు: `mp3`, `wav`, `m4a`, `flac`, `ogg`, `webm`. TTS అవుట్పుట్ ఫార్మాట్లు ప్రొవైడర్పై ఆధారపడి ఉంటాయి (mp3, wav, opus, pcm, mulaw).
---
### కాంబో బ్యాలెన్సింగ్ వ్యూహాలు
**డ్యాష్బోర్డ్ → కాంబోలు → సృష్టించు/సవరించు → వ్యూహం**లో ప్రతి కాంబోకు బ్యాలెన్సింగ్ను కాన్ఫిగర్ చేయండి.
| వ్యూహం | వివరణ |
| ----------------------------- | ---------------------------------------------------------------------------------------------- |
| **రౌండ్-రాబిన్** | మోడల్లను వరుస క్రమంలో మారుస్తుంది |
| **ప్రాధాన్యత** | ఎల్లప్పుడూ మొదటి మోడల్ను ప్రయత్నిస్తుంది; లోపం సంభవించినప్పుడు మాత్రమే ఫాల్బ్యాక్ అవుతుంది |
| **యాదృచ్ఛికం** | ప్రతి అభ్యర్థనకు కాంబో నుండి ఒక యాదృచ్ఛిక మోడల్ను ఎంచుకుంటుంది |
| **వెయిటెడ్** | ప్రతి మోడల్కు కేటాయించిన వెయిట్ల ఆధారంగా అనుపాతంలో రూట్ చేస్తుంది |
| **అతి తక్కువగా ఉపయోగించినది** | ఇటీవల అతి తక్కువ అభ్యర్థనలు అందుకున్న మోడల్కు రూట్ చేస్తుంది (కాంబో మెట్రిక్లను ఉపయోగిస్తుంది) |
| **ఖర్చు-ఆప్టిమైజ్డ్** | అందుబాటులో ఉన్న అతి చవకైన మోడల్కు రూట్ చేస్తుంది (ధరల పట్టికను ఉపయోగిస్తుంది) |
గ్లోబల్ కాంబో డిఫాల్ట్లను **డ్యాష్బోర్డ్ → సెట్టింగ్లు → రూటింగ్ → కాంబో డిఫాల్ట్లు**లో సెట్ చేయవచ్చు.
కాంబో లక్ష్య టైమ్అవుట్లు డిఫాల్ట్గా ప్రస్తుత అభ్యర్థన టైమ్అవుట్ను స్వీకరిస్తాయి. తక్కువ ప్రతి-లక్ష్య పరిమితి
వేగవంతమైన ఫాల్బ్యాక్ను ట్రిగ్గర్ చేయాల్సినప్పుడు మాత్రమే కాంబో డిఫాల్ట్లలో లేదా వ్యక్తిగత కాంబోలో **లక్ష్య టైమ్అవుట్
(సెకన్లు)** ఉపయోగించండి.
జీరో-లేటెన్సీ కాంబో ఆప్టిమైజేషన్లను ఐచ్ఛికంగా ప్రారంభించాలి. ఈ లేటెన్సీ ఫీచర్లు ఫాల్బ్యాక్ లక్ష్యాలతో పోటీ పడకుండా,
TTFT చరిత్ర ఆధారంగా లక్ష్యాలను దాటవేయకుండా లేదా ఫాల్బ్యాక్ అభ్యర్థనలను కంప్రెస్ చేయకుండా నిరోధించడానికి
**జీరో-లేటెన్సీ ఆప్టిమైజేషన్లు**ను నిలిపివేసి ఉంచండి; దీన్ని ప్రారంభించడం ద్వారా కాన్ఫిగర్ చేసిన హెడ్జింగ్, అంచనా TTFT
స్కిప్లు మరియు ముందస్తు ఫాల్బ్యాక్ కంప్రెషన్, తక్కువ టెయిల్ లేటెన్సీ కోసం రూటింగ్/అభ్యర్థన ఖచ్చితత్వాన్ని త్యాగం చేయగలవు.
అప్స్ట్రీమ్ ప్రొవైడర్లకు కఠినమైన `max_tokens` / `maxOutputTokens` పరిమితులు అవసరమైనప్పుడు **రీజనింగ్ టోకెన్ బఫర్**ను నిలిపివేయండి. ఇది ప్రారంభించబడినప్పుడు, తెలిసిన అవుట్పుట్ పరిమితి ఉన్న మోడళ్లకు మాత్రమే కాంబో రూటింగ్ రీజనింగ్-మోడల్ అదనపు సామర్థ్యాన్ని జోడిస్తుంది మరియు సురక్షితమైన బఫర్ చేసిన విలువ ఆ పరిమితిని మించితే క్లయింట్ టోకెన్ పరిమితిని మార్చకుండా ఉంచుతుంది. క్లయింట్ పరిమితి ఇప్పటికే తెలిసిన పరిమితి కంటే ఎక్కువగా ఉంటే, అప్స్ట్రీమ్ అభ్యర్థనను పంపే ముందు OmniRoute దానిని ఆ పరిమితికి తగ్గిస్తుంది.
---
### సిస్టమ్ హెల్త్ డాష్బోర్డ్
**డాష్బోర్డ్ → హెల్త్** ద్వారా యాక్సెస్ చేయండి. 6 కార్డ్లతో రియల్-టైమ్ సిస్టమ్ హెల్త్ సమగ్ర అవలోకనం:
| కార్డ్ | ఇది చూపించేది |
| ----------------------- | ----------------------------------------------------------- |
| **సిస్టమ్ స్థితి** | అప్టైమ్, వెర్షన్, మెమరీ వినియోగం, డేటా డైరెక్టరీ |
| **ప్రొవైడర్ హెల్త్** | గ్లోబల్ ప్రొవైడర్ సర్క్యూట్ బ్రేకర్ రన్టైమ్ స్థితి |
| **రేట్ పరిమితులు** | మిగిలిన సమయంతో ప్రతి ఖాతాకు సక్రియ కనెక్షన్ కూల్డౌన్లు |
| **సక్రియ లాకౌట్లు** | సక్రియ మోడల్-స్కోప్డ్ లాకౌట్లు మరియు తాత్కాలిక మినహాయింపులు |
| **సిగ్నేచర్ క్యాష్** | డీడూప్లికేషన్ క్యాష్ గణాంకాలు (సక్రియ కీలు, హిట్ రేట్) |
| **లేటెన్సీ టెలిమెట్రీ** | ప్రతి ప్రొవైడర్కు p50/p95/p99 లేటెన్సీ అగ్రిగేషన్ |
**ప్రో చిట్కా:** హెల్త్ పేజీ ప్రతి 10 సెకన్లకు ఆటో-రిఫ్రెష్ అవుతుంది. ఏ ప్రొవైడర్లు సమస్యలను ఎదుర్కొంటున్నారో గుర్తించడానికి సర్క్యూట్ బ్రేకర్ కార్డ్ను ఉపయోగించండి.
---
## 🤖 ఆటో-రూటింగ్ (కాన్ఫిగరేషన్ అవసరం లేదు)
OmniRoute ప్రతి కనెక్ట్ చేయబడిన ప్రొవైడర్లోనూ ప్రతి అభ్యర్థనకు ఉత్తమ మోడల్ను ఎంచుకునే **స్కోర్-ఆధారిత ఆటో-రూటర్**తో వస్తుంది — నిర్వహించాల్సిన కాంబో ఏదీ లేదు. `auto/*` ప్రిఫిక్స్లలో ఒకదానితో అభ్యర్థనను పంపితే చాలు; OmniRoute వెంటనే ఒక వర్చువల్ కాంబోను రూపొందించి, లేటెన్సీ, ఖర్చు, విజయ శాతం, కాంటెక్స్ట్ అనుకూలత, టాస్క్కు మోడల్ సామర్థ్యం, ఇటీవలి వైఫల్యాలు, కోటా, సర్క్యూట్-బ్రేకర్ స్థితి ఆధారంగా అభ్యర్థి మోడల్లకు స్కోర్ ఇస్తుంది.
| ప్రిఫిక్స్ | దేనికి అనుకూలీకరిస్తుంది |
| -------------- | ----------------------------------------------------------------------------------------------------------- |
| `auto` | సమతుల్య డిఫాల్ట్ (లేటెన్సీ × ఖర్చు × విజయ శాతం) |
| `auto/coding` | కోడింగ్ టాస్క్లు: Claude, GPT-5, GLM, Kimi, Qwen Coder, DeepSeek కోడర్లకు ప్రాధాన్యం ఇస్తుంది |
| `auto/cheap` | అత్యల్ప $/token, అధిక లేటెన్సీని అంగీకరిస్తుంది |
| `auto/fast` | అత్యల్ప లేటెన్సీ, ఖర్చును పట్టించుకోదు |
| `auto/offline` | స్థానిక-మాత్రమే ప్రొవైడర్లు (Ollama, vLLM, llama.cpp) — ఎయిర్-గ్యాప్డ్ సెటప్లకు ఉపయోగకరం |
| `auto/smart` | రీజనింగ్ నాణ్యతకు మొదటి ప్రాధాన్యం (Opus, GPT-5 xhigh, R1, GLM 5.1 reasoning) |
| `auto/lkgp` | "చివరిగా విజయవంతమైన ప్రొవైడర్" — చివరిగా విజయవంతమైన ప్రొవైడర్కే పిన్ చేసి, ఆపై నియమాలకు ఫాల్బ్యాక్ అవుతుంది |
ఉదాహరణ:
```bash
curl -X POST http://localhost:20128/v1/chat/completions \
-H "Authorization: Bearer $OMNIROUTE_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "auto/coding",
"messages": [{ "role": "user", "content": "Refactor this Python function" }],
"stream": true
}'
```
స్కోరింగ్ వెయిట్లను ఎలా సర్దుబాటు చేయాలి, ప్రొవైడర్లను బ్లాక్లిస్ట్ చేయడం ఎలా, అలాగే **Dashboard → Auto Combo**లో రూటింగ్ నిర్ణయాలను ఎలా పరిశీలించాలి అనే వివరాలతో సహా ఆటో-రూటర్ గురించి [AUTO-COMBO.md](../routing/AUTO-COMBO.md)లో పూర్తిగా వివరించబడింది.
---
## 🔌 MCP & A2A ఇంటిగ్రేషన్
OmniRoute ఒక **MCP సర్వర్** (Model Context Protocol) మరియు ఒక **A2A సర్వర్** (Agent-to-Agent JSON-RPC 2.0) రెండూ. ఏదైనా MCP-అనుకూల IDE లేదా ఏజెంట్ హోస్ట్ OmniRoute టూల్లను నేరుగా కాల్ చేయగలదు — అదనపు ర్యాపర్ అవసరం లేదు.
### MCP ట్రాన్స్పోర్ట్లు
- **SSE**: `http://localhost:20128/api/mcp/sse`
- **స్ట్రీమ్ చేయగల HTTP**: `http://localhost:20128/api/mcp/stream`
- **stdio**: `omniroute --mcp` (stdioను ఇష్టపడే IDE ప్లగిన్ల కోసం)
### Claude Desktopను కనెక్ట్ చేయండి
`~/Library/Application Support/Claude/claude_desktop_config.json` (macOS) లేదా Windows/Linuxలో దానికి సమానమైన ఫైల్ను సవరించండి:
```json
{
"mcpServers": {
"omniroute": {
"command": "omniroute",
"args": ["--mcp"]
}
}
}
```
### Cursor / Continue / VS Code MCPను కనెక్ట్ చేయండి
SSE URL `http://localhost:20128/api/mcp/sse`ను మరియు **Dashboard → API Keys**లో రూపొందించిన Bearer API కీని ఉపయోగించండి.
### స్కోప్లు
MCP ప్రస్తుతం 32 పేరుగల స్కోప్లను నిర్వచిస్తుంది. ప్రతి Bearer కీని నిర్దిష్ట స్కోప్లకు పరిమితం చేయవచ్చు — ప్రామాణిక స్కోప్ మరియు టూల్ జాబితా కోసం [MCP-SERVER.md](../frameworks/MCP-SERVER.md)ను, JSON-RPC స్కీమా కోసం [A2A-SERVER.md](../frameworks/A2A-SERVER.md)ను చూడండి.
---
## 🧠 నైపుణ్యాల వ్యవస్థ
ఏజెంట్లు మరియు A2A ఎండ్పాయింట్ డొమైన్-నిర్దిష్ట రొటీన్లను (ఉదా. `code-review`, `summarize`, `extract-facts`, `web-research`) అమలు చేయగలిగేలా OmniRoute విస్తరించదగిన **నైపుణ్య ఫ్రేమ్వర్క్ను** (`src/lib/skills/`) అందిస్తుంది.
- **మార్కెట్ప్లేస్ UI** — **డ్యాష్బోర్డ్ → నైపుణ్యాలు** నుండి నైపుణ్యాలను బ్రౌజ్ చేసి, ఇన్స్టాల్ చేయండి
- **ఒక్కో కీకి స్కోప్లు** — ఏ API కీలు ఏ నైపుణ్యాలను అమలు చేయగలవో నియంత్రించండి
- **అనుకూల నైపుణ్యాలు** — `src/lib/a2a/skills/`లో ఒక TypeScript ఫైల్ను ఉంచి, దాన్ని నమోదు చేస్తే, అది వెంటనే A2A ద్వారా అమలు చేయదగినదిగా మారుతుంది
పూర్తి సూచన: [SKILLS.md](../frameworks/SKILLS.md).
---
## 💾 మెమరీ వ్యవస్థ
OmniRoute హైబ్రిడ్ రిట్రీవల్తో **దీర్ఘకాలిక సంభాషణ మెమరీని** నిల్వ చేస్తుంది:
- గత సంభాషణ టర్న్లలో కీవర్డ్ శోధన కోసం **SQLite FTS5**
- భావార్థ రీకాల్ కోసం **Qdrant వెక్టర్ స్టోర్** (ఐచ్ఛికం)
- **ఆటోమేటిక్ ఫ్యాక్ట్ ఎక్స్ట్రాక్షన్** — ప్రతి సెషన్ తర్వాత ఎంటిటీలు, ప్రాధాన్యతలు మరియు నిర్ణయాలు సంగ్రహించబడి, `memory_facts` పట్టికలో నిల్వ చేయబడతాయి
- మెమరీలు ఒక్కో API కీకి మరియు ఒక్కో సెషన్కు ప్రత్యేకంగా పరిమితం చేయబడతాయి
**డ్యాష్బోర్డ్ → మెమరీ**లో మెమరీలను నిర్వహించండి (శోధించండి, సవరించండి, ఎగుమతి చేయండి, పూర్తిగా తొలగించండి). HTTP ఇంటర్ఫేస్ (`/api/memory/*`) ద్వారా ఏజెంట్లు ప్రోగ్రామాటిక్గా ఫ్యాక్ట్లను పంపించవచ్చు మరియు ప్రశ్నించవచ్చు — [MEMORY.md](../frameworks/MEMORY.md) చూడండి.
---
## 🔔 వెబ్హుక్లు
రియల్-టైమ్ పర్యవేక్షణ మరియు ఆటోమేషన్ కోసం OmniRoute ఈవెంట్లకు సబ్స్క్రైబ్ చేయండి.
- లక్ష్య URL మరియు HMAC సంతక సీక్రెట్తో **డ్యాష్బోర్డ్ → వెబ్హుక్లు**లో ఒక వెబ్హుక్ను సృష్టించండి
- అందుబాటులో ఉన్న ఈవెంట్లు: `request.completed`, `request.failed`, `provider.unavailable`, `budget.exceeded`, `combo.switched`, `circuit_breaker.opened`, `circuit_breaker.closed`
- ధృవీకరణ కోసం ప్రతి పేలోడ్లో `X-OmniRoute-Signature` (HMAC-SHA256) ఉంటుంది
- మళ్లీ ప్రయత్నాలు: ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్తో 3 ప్రయత్నాలు, ఆ తర్వాత డెడ్-లెటర్ క్యూ
పూర్తి స్కీమా [WEBHOOKS.md](../frameworks/WEBHOOKS.md)లో ఉంది.
---
## ☁️ క్లౌడ్ ఏజెంట్లు
OmniRoute క్లౌడ్ కోడింగ్ ఏజెంట్లతో (**OpenAI Codex Cloud**, **Devin**, **Jules**, **Antigravity**) అనుసంధానమవుతుంది, తద్వారా మీ స్థానిక రూటింగ్ను నిర్వహించే అదే డ్యాష్బోర్డ్ నుండి దీర్ఘకాలం నడిచే టాస్క్లను పంపించవచ్చు.
- **డ్యాష్బోర్డ్ → క్లౌడ్ ఏజెంట్లు**లో లేదా `POST /api/v1/agents/tasks` ద్వారా టాస్క్లను సృష్టించండి
- ఒక్కో టాస్క్కు సంబంధించిన స్థితి, లాగ్లు మరియు ఆర్టిఫ్యాక్ట్లను ట్రాక్ చేయండి
- ఒక్కో ప్రొవైడర్కు మీ స్వంత API కీని ఉపయోగించండి — క్రెడెన్షియల్లు ఎప్పటికీ OmniRoute ఇన్స్టాన్స్ను వదిలి వెళ్లవు
పూర్తి సూచన: [CLOUD_AGENT.md](../frameworks/CLOUD_AGENT.md).
---
## 🛠️ ప్రోగ్రామాటిక్ నిర్వహణ
**`manage` స్కోప్ ఉన్న Bearer కీని** ఉపయోగించి HTTP ద్వారా ప్రతి OmniRoute వనరును (ప్రొవైడర్లు, కాంబోలు, కీలు, సెట్టింగ్లు) నిర్వహించవచ్చు.
**డ్యాష్బోర్డ్ → API కీలు → కొత్త కీ → స్కోప్: manage**లో కీని రూపొందించి, ఆపై:
```bash
# ప్రొవైడర్లను జాబితా చేయండి
curl http://localhost:20128/api/providers \
-H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY"
# ప్రొవైడర్ కనెక్షన్ను జోడించండి
curl -X POST http://localhost:20128/api/providers \
-H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" \
-H "Content-Type: application/json" \
-d '{ "provider": "openai", "apiKey": "sk-...", "name": "main" }'
# కాంబోను సృష్టించండి
curl -X POST http://localhost:20128/api/combos \
-H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" \
-H "Content-Type: application/json" \
-d '{ "name": "premium", "strategy": "priority", "models": [{ "model": "cc/claude-opus-4-7" }, { "model": "glm/glm-5.1" }] }'
# API కీలను జాబితా చేయండి/సృష్టించండి
curl http://localhost:20128/api/keys -H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY"
curl -X POST http://localhost:20128/api/keys -H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" \
-d '{ "name": "ci-bot", "scopes": ["chat"] }'
```
పూర్తి ఎండ్పాయింట్ కేటలాగ్ మరియు రిక్వెస్ట్/రెస్పాన్స్ స్కీమాల కోసం [API_REFERENCE.md](../reference/API_REFERENCE.md) చూడండి.
---
## 💻 అంతర్గత CLI
సెటప్, డయాగ్నస్టిక్స్ మరియు రన్టైమ్ నియంత్రణ కోసం OmniRoute అంతర్గత CLI (`omniroute …`)తో వస్తుంది. ఇది **డ్యాష్బోర్డ్లోని "CLI సాధనాలు" పేజీకి భిన్నమైనది**; ఆ పేజీ మూడవ పక్ష CLIలను (Claude Code, Cursor, Codex, Cline, …) కాన్ఫిగర్ చేసి, అవి OmniRouteతో కమ్యూనికేట్ చేయగలిగేలా చేస్తుంది.
```bash
omniroute setup # ఇంటరాక్టివ్ విజార్డ్ (పాస్వర్డ్, ప్రొవైడర్లు, కాంబోలు)
omniroute setup --non-interactive # CIకి అనుకూలమైనది
omniroute doctor # ఆరోగ్య డయాగ్నస్టిక్స్ (డేటా డైరెక్టరీ, DB, ప్రొవైడర్లు, పోర్టులు)
omniroute providers available # మద్దతు ఉన్న ప్రొవైడర్లను జాబితా చేయండి
omniroute providers list # కాన్ఫిగర్ చేసిన కనెక్షన్లను జాబితా చేయండి
omniroute providers test # ప్రొవైడర్ కనెక్షన్ను ప్రత్యక్షంగా పరీక్షించండి
omniroute combos list # కాంబోలను జాబితా చేయండి
omniroute combos switch # డిఫాల్ట్ కాంబోను సెట్ చేయండి
omniroute models # అందుబాటులో ఉన్న మోడళ్లను జాబితా చేయండి (--json, --search)
omniroute keys add | list | remove # టెర్మినల్ నుండి API కీలను నిర్వహించండి
omniroute backup # కాన్ఫిగరేషన్ + DB స్నాప్షాట్
omniroute restore [] # స్నాప్షాట్ నుండి పునరుద్ధరించండి
omniroute health # వివరణాత్మక ఆరోగ్య స్థితి (బ్రేకర్లు, కాష్, మెమరీ)
omniroute quota # ప్రొవైడర్ కోటా వినియోగం
omniroute mcp status # MCP సర్వర్ స్థితి
omniroute a2a status # A2A సర్వర్ స్థితి
omniroute tunnel list|create|stop # Cloudflare/Tailscale/ngrok టన్నెల్లు
omniroute reset-password # అడ్మిన్ పాస్వర్డ్ను రీసెట్ చేయండి
omniroute --mcp # stdio ద్వారా MCP సర్వర్ను ప్రారంభించండి
omniroute --port 3000 # అనుకూల పోర్టులో సర్వర్ను ప్రారంభించండి
```
చిట్కా: అనారోగ్యకరమైన ప్రొవైడర్ కనెక్షన్లపై హెచ్చరికలు పొందడానికి `omniroute doctor --json`ను మీ మానిటరింగ్ సాధనంతో జత చేయండి.
---
## 🖥️ డెస్క్టాప్ అప్లికేషన్ (Electron)
OmniRoute Windows, macOS మరియు Linux కోసం స్థానిక డెస్క్టాప్ అప్లికేషన్గా అందుబాటులో ఉంది.
### ఇన్స్టాలేషన్
```bash
# electron డైరెక్టరీ నుండి:
cd electron
npm install
# డెవలప్మెంట్ మోడ్ (రన్ అవుతున్న Next.js డెవ్ సర్వర్కు కనెక్ట్ అవుతుంది):
npm run dev
# ప్రొడక్షన్ మోడ్ (స్టాండ్అలోన్ బిల్డ్ను ఉపయోగిస్తుంది):
npm start
```
### ఇన్స్టాలర్లను బిల్డ్ చేయడం
```bash
cd electron
npm run build # ప్రస్తుత ప్లాట్ఫారమ్
npm run build:win # Windows (.exe NSIS)
npm run build:mac # macOS (.dmg యూనివర్సల్)
npm run build:linux # Linux (.AppImage)
```
అవుట్పుట్ → `electron/dist-electron/`
### ముఖ్య ఫీచర్లు
| ఫీచర్ | వివరణ |
| ---------------------------- | ------------------------------------------------------------------------------ |
| **సర్వర్ సిద్ధస్థితి** | విండోను చూపించే ముందు సర్వర్ను పోలింగ్ చేస్తుంది (ఖాళీ స్క్రీన్ ఉండదు) |
| **సిస్టమ్ ట్రే** | ట్రేకు మినిమైజ్ చేయడం, పోర్టును మార్చడం, ట్రే మెను నుండి నిష్క్రమించడం |
| **పోర్ట్ నిర్వహణ** | ట్రే నుండి సర్వర్ పోర్టును మార్చడం (సర్వర్ను స్వయంచాలకంగా పునఃప్రారంభిస్తుంది) |
| **కంటెంట్ సెక్యూరిటీ పాలసీ** | సెషన్ హెడర్ల ద్వారా కఠినమైన CSP |
| **ఒకే ఇన్స్టాన్స్** | ఒక సమయంలో ఒక అప్లికేషన్ ఇన్స్టాన్స్ మాత్రమే రన్ అవుతుంది |
| **ఆఫ్లైన్ మోడ్** | బండిల్ చేసిన Next.js సర్వర్ ఇంటర్నెట్ లేకుండా పనిచేస్తుంది |
### ఎన్విరాన్మెంట్ వేరియబుల్స్
| వేరియబుల్ | డిఫాల్ట్ | వివరణ |
| --------------------- | -------- | ---------------------------------- |
| `OMNIROUTE_PORT` | `20128` | సర్వర్ పోర్టు |
| `OMNIROUTE_MEMORY_MB` | `512` | Node.js హీప్ పరిమితి (64–16384 MB) |
📖 పూర్తి డాక్యుమెంటేషన్: [`electron/README.md`](../../electron/README.md)