# User Guide (తెలుగు) 🌐 **Languages:** 🇺🇸 [English](../../../../guides/USER_GUIDE.md) · 🇪🇹 [am](../../../am/docs/guides/USER_GUIDE.md) · 🇸🇦 [ar](../../../ar/docs/guides/USER_GUIDE.md) · 🇦🇿 [az](../../../az/docs/guides/USER_GUIDE.md) · 🇧🇬 [bg](../../../bg/docs/guides/USER_GUIDE.md) · 🇧🇩 [bn](../../../bn/docs/guides/USER_GUIDE.md) · 🇧🇦 [bs](../../../bs/docs/guides/USER_GUIDE.md) · 🇨🇿 [cs](../../../cs/docs/guides/USER_GUIDE.md) · 🇩🇰 [da](../../../da/docs/guides/USER_GUIDE.md) · 🇩🇪 [de](../../../de/docs/guides/USER_GUIDE.md) · 🇬🇷 [el](../../../el/docs/guides/USER_GUIDE.md) · 🇪🇸 [es](../../../es/docs/guides/USER_GUIDE.md) · 🇪🇪 [et](../../../et/docs/guides/USER_GUIDE.md) · 🇮🇷 [fa](../../../fa/docs/guides/USER_GUIDE.md) · 🇫🇮 [fi](../../../fi/docs/guides/USER_GUIDE.md) · 🇫🇷 [fr](../../../fr/docs/guides/USER_GUIDE.md) · 🇮🇪 [ga](../../../ga/docs/guides/USER_GUIDE.md) · 🇮🇳 [gu](../../../gu/docs/guides/USER_GUIDE.md) · 🇳🇬 [ha](../../../ha/docs/guides/USER_GUIDE.md) · 🇮🇱 [he](../../../he/docs/guides/USER_GUIDE.md) · 🇮🇳 [hi](../../../hi/docs/guides/USER_GUIDE.md) · 🇭🇷 [hr](../../../hr/docs/guides/USER_GUIDE.md) · 🇭🇺 [hu](../../../hu/docs/guides/USER_GUIDE.md) · 🇦🇲 [hy](../../../hy/docs/guides/USER_GUIDE.md) · 🇮🇩 [id](../../../id/docs/guides/USER_GUIDE.md) · 🇳🇬 [ig](../../../ig/docs/guides/USER_GUIDE.md) · 🇮🇹 [it](../../../it/docs/guides/USER_GUIDE.md) · 🇯🇵 [ja](../../../ja/docs/guides/USER_GUIDE.md) · 🇬🇪 [ka](../../../ka/docs/guides/USER_GUIDE.md) · 🇰🇭 [km](../../../km/docs/guides/USER_GUIDE.md) · 🇮🇳 [kn](../../../kn/docs/guides/USER_GUIDE.md) · 🇰🇷 [ko](../../../ko/docs/guides/USER_GUIDE.md) · 🇱🇹 [lt](../../../lt/docs/guides/USER_GUIDE.md) · 🇱🇻 [lv](../../../lv/docs/guides/USER_GUIDE.md) · 🇮🇳 [ml](../../../ml/docs/guides/USER_GUIDE.md) · 🇮🇳 [mr](../../../mr/docs/guides/USER_GUIDE.md) · 🇲🇾 [ms](../../../ms/docs/guides/USER_GUIDE.md) · 🇲🇹 [mt](../../../mt/docs/guides/USER_GUIDE.md) · 🇲🇲 [my](../../../my/docs/guides/USER_GUIDE.md) · 🇳🇵 [ne](../../../ne/docs/guides/USER_GUIDE.md) · 🇳🇱 [nl](../../../nl/docs/guides/USER_GUIDE.md) · 🇳🇴 [no](../../../no/docs/guides/USER_GUIDE.md) · 🇮🇳 [or](../../../or/docs/guides/USER_GUIDE.md) · 🇮🇳 [pa](../../../pa/docs/guides/USER_GUIDE.md) · 🇵🇭 [phi](../../../phi/docs/guides/USER_GUIDE.md) · 🇵🇱 [pl](../../../pl/docs/guides/USER_GUIDE.md) · 🇵🇹 [pt](../../../pt/docs/guides/USER_GUIDE.md) · 🇧🇷 [pt-BR](../../../pt-BR/docs/guides/USER_GUIDE.md) · 🇷🇴 [ro](../../../ro/docs/guides/USER_GUIDE.md) · 🇷🇺 [ru](../../../ru/docs/guides/USER_GUIDE.md) · 🇱🇰 [si](../../../si/docs/guides/USER_GUIDE.md) · 🇸🇰 [sk](../../../sk/docs/guides/USER_GUIDE.md) · 🇸🇮 [sl](../../../sl/docs/guides/USER_GUIDE.md) · 🇷🇸 [sr](../../../sr/docs/guides/USER_GUIDE.md) · 🇸🇪 [sv](../../../sv/docs/guides/USER_GUIDE.md) · 🇰🇪 [sw](../../../sw/docs/guides/USER_GUIDE.md) · 🇮🇳 [ta](../../../ta/docs/guides/USER_GUIDE.md) · 🇹🇭 [th](../../../th/docs/guides/USER_GUIDE.md) · 🇹🇷 [tr](../../../tr/docs/guides/USER_GUIDE.md) · 🇺🇦 [uk-UA](../../../uk-UA/docs/guides/USER_GUIDE.md) · 🇵🇰 [ur](../../../ur/docs/guides/USER_GUIDE.md) · 🇺🇿 [uz](../../../uz/docs/guides/USER_GUIDE.md) · 🇻🇳 [vi](../../../vi/docs/guides/USER_GUIDE.md) · 🇳🇬 [yo](../../../yo/docs/guides/USER_GUIDE.md) · 🇨🇳 [zh-CN](../../../zh-CN/docs/guides/USER_GUIDE.md) · 🇹🇼 [zh-TW](../../../zh-TW/docs/guides/USER_GUIDE.md) --- 🌐 **Languages:** 🇺🇸 [English](../../../../guides/USER_GUIDE.md) · 🇪🇹 [am](../../../am/docs/guides/USER_GUIDE.md) · 🇸🇦 [ar](../../../ar/docs/guides/USER_GUIDE.md) · 🇦🇿 [az](../../../az/docs/guides/USER_GUIDE.md) · 🇧🇬 [bg](../../../bg/docs/guides/USER_GUIDE.md) · 🇧🇩 [bn](../../../bn/docs/guides/USER_GUIDE.md) · 🇧🇦 [bs](../../../bs/docs/guides/USER_GUIDE.md) · 🇨🇿 [cs](../../../cs/docs/guides/USER_GUIDE.md) · 🇩🇰 [da](../../../da/docs/guides/USER_GUIDE.md) · 🇩🇪 [de](../../../de/docs/guides/USER_GUIDE.md) · 🇬🇷 [el](../../../el/docs/guides/USER_GUIDE.md) · 🇪🇸 [es](../../../es/docs/guides/USER_GUIDE.md) · 🇪🇪 [et](../../../et/docs/guides/USER_GUIDE.md) · 🇮🇷 [fa](../../../fa/docs/guides/USER_GUIDE.md) · 🇫🇮 [fi](../../../fi/docs/guides/USER_GUIDE.md) · 🇫🇷 [fr](../../../fr/docs/guides/USER_GUIDE.md) · 🇮🇪 [ga](../../../ga/docs/guides/USER_GUIDE.md) · 🇮🇳 [gu](../../../gu/docs/guides/USER_GUIDE.md) · 🇳🇬 [ha](../../../ha/docs/guides/USER_GUIDE.md) · 🇮🇱 [he](../../../he/docs/guides/USER_GUIDE.md) · 🇮🇳 [hi](../../../hi/docs/guides/USER_GUIDE.md) · 🇭🇷 [hr](../../../hr/docs/guides/USER_GUIDE.md) · 🇭🇺 [hu](../../../hu/docs/guides/USER_GUIDE.md) · 🇦🇲 [hy](../../../hy/docs/guides/USER_GUIDE.md) · 🇮🇩 [id](../../../id/docs/guides/USER_GUIDE.md) · 🇳🇬 [ig](../../../ig/docs/guides/USER_GUIDE.md) · 🇮🇹 [it](../../../it/docs/guides/USER_GUIDE.md) · 🇯🇵 [ja](../../../ja/docs/guides/USER_GUIDE.md) · 🇬🇪 [ka](../../../ka/docs/guides/USER_GUIDE.md) · 🇰🇭 [km](../../../km/docs/guides/USER_GUIDE.md) · 🇮🇳 [kn](../../../kn/docs/guides/USER_GUIDE.md) · 🇰🇷 [ko](../../../ko/docs/guides/USER_GUIDE.md) · 🇱🇹 [lt](../../../lt/docs/guides/USER_GUIDE.md) · 🇱🇻 [lv](../../../lv/docs/guides/USER_GUIDE.md) · 🇮🇳 [ml](../../../ml/docs/guides/USER_GUIDE.md) · 🇮🇳 [mr](../../../mr/docs/guides/USER_GUIDE.md) · 🇲🇾 [ms](../../../ms/docs/guides/USER_GUIDE.md) · 🇲🇹 [mt](../../../mt/docs/guides/USER_GUIDE.md) · 🇲🇲 [my](../../../my/docs/guides/USER_GUIDE.md) · 🇳🇵 [ne](../../../ne/docs/guides/USER_GUIDE.md) · 🇳🇱 [nl](../../../nl/docs/guides/USER_GUIDE.md) · 🇳🇴 [no](../../../no/docs/guides/USER_GUIDE.md) · 🇮🇳 [or](../../../or/docs/guides/USER_GUIDE.md) · 🇮🇳 [pa](../../../pa/docs/guides/USER_GUIDE.md) · 🇵🇭 [phi](../../../phi/docs/guides/USER_GUIDE.md) · 🇵🇱 [pl](../../../pl/docs/guides/USER_GUIDE.md) · 🇵🇹 [pt](../../../pt/docs/guides/USER_GUIDE.md) · 🇧🇷 [pt-BR](../../../pt-BR/docs/guides/USER_GUIDE.md) · 🇷🇴 [ro](../../../ro/docs/guides/USER_GUIDE.md) · 🇷🇺 [ru](../../../ru/docs/guides/USER_GUIDE.md) · 🇱🇰 [si](../../../si/docs/guides/USER_GUIDE.md) · 🇸🇰 [sk](../../../sk/docs/guides/USER_GUIDE.md) · 🇸🇮 [sl](../../../sl/docs/guides/USER_GUIDE.md) · 🇷🇸 [sr](../../../sr/docs/guides/USER_GUIDE.md) · 🇸🇪 [sv](../../../sv/docs/guides/USER_GUIDE.md) · 🇰🇪 [sw](../../../sw/docs/guides/USER_GUIDE.md) · 🇮🇳 [ta](../../../ta/docs/guides/USER_GUIDE.md) · 🇹🇭 [th](../../../th/docs/guides/USER_GUIDE.md) · 🇹🇷 [tr](../../../tr/docs/guides/USER_GUIDE.md) · 🇺🇦 [uk-UA](../../../uk-UA/docs/guides/USER_GUIDE.md) · 🇵🇰 [ur](../../../ur/docs/guides/USER_GUIDE.md) · 🇺🇿 [uz](../../../uz/docs/guides/USER_GUIDE.md) · 🇻🇳 [vi](../../../vi/docs/guides/USER_GUIDE.md) · 🇳🇬 [yo](../../../yo/docs/guides/USER_GUIDE.md) · 🇨🇳 [zh-CN](../../../zh-CN/docs/guides/USER_GUIDE.md) · 🇹🇼 [zh-TW](../../../zh-TW/docs/guides/USER_GUIDE.md) ప్రొవైడర్లను కాన్ఫిగర్ చేయడం, కాంబోలను సృష్టించడం, CLI సాధనాలను అనుసంధానించడం మరియు OmniRouteను డిప్లాయ్ చేయడం కోసం సమగ్ర మార్గదర్శిని. --- ## విషయ సూచిక - [ధరల సంక్షిప్త వివరణ](#-pricing-at-a-glance) - [వినియోగ సందర్భాలు](#-use-cases) - [ప్రొవైడర్ సెటప్](#-provider-setup) - [CLI అనుసంధానం](#-cli-integration) - [డిప్లాయ్మెంట్](#-deployment) - [అందుబాటులో ఉన్న మోడళ్లు](#-available-models) - [అధునాతన ఫీచర్లు](#-advanced-features) - [ఆటో-రూటింగ్ (కాన్ఫిగరేషన్ అవసరం లేదు)](#-auto-routing-zero-config) - [MCP & A2A అనుసంధానం](#-mcp--a2a-integration) - [స్కిల్స్ సిస్టమ్](#-skills-system) - [మెమరీ సిస్టమ్](#-memory-system) - [వెబ్హుక్లు](#-webhooks) - [క్లౌడ్ ఏజెంట్లు](#-cloud-agents) - [ప్రోగ్రామేటిక్ నిర్వహణ](#-programmatic-management) - [అంతర్గత CLI](#-internal-cli) - [డెస్క్టాప్ అప్లికేషన్ (Electron)](#-desktop-application-electron) --- ## 💰 ధరల సంక్షిప్త వివరణ | శ్రేణి | ప్రొవైడర్ | ఖర్చు | కోటా రీసెట్ | అత్యుత్తమ వినియోగం | | --------------------- | ----------------- | -------------------------------- | ------------------------------- | ---------------------------------- | | **💳 సబ్స్క్రిప్షన్** | Claude Code (Pro) | $20/నెల | 5గం + వారానికి | ఇప్పటికే సబ్స్క్రైబ్ చేసుకున్నవారు | | | Codex (Plus/Pro) | $20-200/నెల | 5గం + వారానికి | OpenAI వినియోగదారులు | | | GitHub Copilot | $10-19/నెల | నెలవారీ | GitHub వినియోగదారులు | | **🔑 API కీ** | DeepSeek | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | చౌకైన రీజనింగ్ | | | Groq | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | అత్యంత వేగవంతమైన ఇన్ఫరెన్స్ | | | xAI (Grok) | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | Grok 4 రీజనింగ్ | | | Mistral | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | EUలో హోస్ట్ చేసిన మోడళ్లు | | | Perplexity | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | శోధనతో మెరుగుపరచబడిన వినియోగం | | | Together AI | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | ఓపెన్-సోర్స్ మోడళ్లు | | | Fireworks AI | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | వేగవంతమైన FLUX చిత్రాలు | | | Cerebras | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | వేఫర్-స్థాయి వేగం | | | Cohere | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | Command R+ RAG | | | NVIDIA NIM | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | ఎంటర్ప్రైజ్ మోడళ్లు | | | Baidu Qianfan | వినియోగానికి అనుగుణంగా చెల్లింపు | లేదు | ERNIE మోడళ్లు | | **💰 చౌకైనవి** | GLM-4.7 | $0.6/1M | ప్రతిరోజూ 10AM | బడ్జెట్ బ్యాకప్ | | | MiniMax M2.1 | $0.2/1M | ప్రతి 5 గంటలకు రోలింగ్ రీసెట్ | అత్యంత చౌకైన ఎంపిక | | | Kimi K2 | $9/నెల స్థిర ధర | 10M టోకెన్లు/నెల | అంచనా వేయగలిగే ఖర్చు | | **🆓 ఉచితం** | Qoder | $0 | ప్రొవైడర్ పరిమితులు వర్తిస్తాయి | ప్రస్తుత కేటలాగ్ను ధృవీకరించండి | | | Kiro | $0 | ~50 క్రెడిట్లు/నెల | ఉచిత Claude | --- ## 🎯 వినియోగ సందర్భాలు ### సందర్భం 1: "నాకు Claude Pro సబ్స్క్రిప్షన్ ఉంది" **సమస్య:** ఉపయోగించని కోటా గడువు ముగుస్తుంది, భారీ కోడింగ్ సమయంలో రేట్ పరిమితులు ఎదురవుతాయి ``` కాంబో: "maximize-claude" 1. cc/claude-opus-4-7 (సబ్స్క్రిప్షన్ను పూర్తిగా ఉపయోగించండి) 2. glm/glm-4.7 (కోటా అయిపోయినప్పుడు చౌకైన బ్యాకప్) 3. if/qwen3.8-max-preview (అత్యవసర పరిస్థితుల్లో ఉచిత ప్రత్యామ్నాయం) నెలవారీ ఖర్చు: $20 (సబ్స్క్రిప్షన్) + ~$5 (బ్యాకప్) = మొత్తం $25 దీనికి బదులుగా $20 చెల్లించి + పరిమితులు ఎదుర్కోవడం = నిరాశ ``` ### సందర్భం 2: "నాకు ఎలాంటి ఖర్చూ వద్దు" **సమస్య:** సబ్స్క్రిప్షన్లను భరించలేను, నమ్మదగిన AI కోడింగ్ అవసరం ``` కాంబో: "zero-cost" 1. if/kimi-k2.7-code (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు) 2. kr/qwen3-coder-next (Kiro ఉచిత ప్రత్యామ్నాయం) నెలవారీ ఖర్చు: $0 నాణ్యత: మీ పనిభారానికి అనుగుణంగా మోడల్, పరిమితులు, గోప్యత మరియు SLAను ధృవీకరించండి ``` ### సందర్భం 3: "అంతరాయాలు లేకుండా 24/7 కోడింగ్ కావాలి" **సమస్య:** గడువులు ఉన్నాయి, సేవ నిలిచిపోవడాన్ని భరించలేను ``` కాంబో: "always-on" 1. cc/claude-opus-4-7 (అత్యుత్తమ నాణ్యత) 2. cx/gpt-5.5 (రెండవ సబ్స్క్రిప్షన్) 3. glm/glm-4.7 (చౌకైనది, ప్రతిరోజూ రీసెట్ అవుతుంది) 4. minimax/MiniMax-M2.1 (అత్యంత చౌకైనది, 5గం రీసెట్) 5. if/deepseek-v4-flash (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు) ఫలితం: 5 ప్రత్యామ్నాయ లేయర్లు స్థిరత్వాన్ని పెంచుతాయి; అప్స్ట్రీమ్ లభ్యతకు హామీ లేదు నెలవారీ ఖర్చు: $20-200 (సబ్స్క్రిప్షన్లు) + $10-20 (బ్యాకప్) ``` ### సందర్భం 4: "OpenClawలో నాకు ఉచిత AI కావాలి" **సమస్య:** మెసేజింగ్ యాప్లలో పూర్తిగా ఉచితమైన AI అసిస్టెంట్ అవసరం ``` కాంబో: "openclaw-free" 1. if/qwen3.8-max-preview (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు) 2. if/deepseek-v4-flash (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు) 3. if/kimi-k2.7-code (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; రేట్ పరిమితులు వర్తించవచ్చు) నెలవారీ ఖర్చు: $0 వీటి ద్వారా యాక్సెస్ చేయండి: WhatsApp, Telegram, Slack, Discord, iMessage, Signal... ``` --- ## 📖 ప్రొవైడర్ సెటప్ CSV లేదా JSON ఫైల్ నుండి API-key కనెక్షన్లను పెద్ద మొత్తంలో జోడించడానికి, **డ్యాష్బోర్డ్ → ప్రొవైడర్లు → ఫైల్ నుండి దిగుమతి చేయండి** ఉపయోగించండి. కాలమ్లు స్థానాధారితమైనవి (`provider,name,apiKey,baseUrl,priority`); `provider` ఇప్పటికే నిర్వహిత ప్రొవైడర్గా లేదా అనుకూల నోడ్గా ఉనికిలో ఉండాలి. [CSV లేదా JSON ఫైల్ నుండి ప్రొవైడర్లను దిగుమతి చేయడం](../providers/CSV-IMPORT.md) చూడండి. ### 🔐 సబ్స్క్రిప్షన్ ప్రొవైడర్లు #### Claude Code (Pro/Max) ```bash డ్యాష్బోర్డ్ → ప్రొవైడర్లు → Claude Codeను కనెక్ట్ చేయండి → OAuth లాగిన్ → ఆటోమేటిక్ టోకెన్ రిఫ్రెష్ → 5-గంటల + వారపు కోటా ట్రాకింగ్ మోడల్లు: cc/claude-opus-4-7 cc/claude-sonnet-4-6 cc/claude-haiku-4-5-20251001 ``` **ప్రో చిట్కా:** సంక్లిష్టమైన పనుల కోసం Opusను, వేగం కోసం Sonnetను ఉపయోగించండి. OmniRoute ప్రతి మోడల్కు కోటాను ట్రాక్ చేస్తుంది! OmniRoute హోస్ట్లో బ్రౌజర్ లేదా? Claude Codeలో లాగిన్ అయి ఉన్న ఏ ప్రదేశంలోనైనా `claude setup-token` అమలు చేసి, ఒక సంవత్సరం టోకెన్ను **Setup Token** ట్యాబ్లో అతికించండి. [సెటప్ టోకెన్తో Claude Code](../providers/CLAUDE_CODE_SETUP_TOKEN.md) చూడండి. Claude మరియు Claude Code-అనుకూల రూట్లు Opus మరియు Sonnet మోడల్ల కోసం `max` ఆలోచనా శ్రమ స్థాయిని అలాగే ఉంచుతాయి. Haiku మోడల్లు `max` శ్రమ స్థాయిని అంగీకరించవు, కాబట్టి OmniRoute ఆ అభ్యర్థనను అప్స్ట్రీమ్కు పంపే ముందు అధిక ఆలోచనా బడ్జెట్కు తగ్గిస్తుంది. #### OpenAI Codex (Plus/Pro) ```bash డ్యాష్బోర్డ్ → ప్రొవైడర్లు → Codexను కనెక్ట్ చేయండి → OAuth లాగిన్ (పోర్ట్ 1455) → 5-గంటల + వారపు రీసెట్ మోడల్లు: cx/gpt-5.5 cx/gpt-5.4 cx/gpt-5.3-codex cx/gpt-5.3-codex-spark ``` #### GitHub Copilot ```bash డ్యాష్బోర్డ్ → ప్రొవైడర్లు → GitHubను కనెక్ట్ చేయండి → GitHub ద్వారా OAuth → నెలవారీ రీసెట్ (నెలలో 1వ తేదీ) మోడల్లు: gh/gpt-5.5 gh/gpt-5.4 gh/claude-sonnet-4.6 gh/claude-opus-4.7 gh/gemini-3.1-pro-preview ``` ### 💰 చవకైన ప్రొవైడర్లు #### GLM-4.7 (రోజువారీ రీసెట్, $0.6/1M) 1. సైన్ అప్ చేయండి: [Zhipu AI](https://open.bigmodel.cn) 2. Coding Plan నుండి API కీని పొందండి 3. డ్యాష్బోర్డ్ → API కీని జోడించండి: ప్రొవైడర్: `glm`, API కీ: `your-key` **ఉపయోగం:** `glm/glm-4.7` — **ప్రో చిట్కా:** Coding Plan 1/7 ఖర్చుతో 3× కోటాను అందిస్తుంది! ప్రతిరోజూ ఉదయం 10:00 గంటలకు రీసెట్ అవుతుంది. #### MiniMax M2.1 (5గం. రీసెట్, $0.20/1M) 1. సైన్ అప్ చేయండి: [MiniMax](https://www.minimax.io) 2. API కీని పొందండి → డ్యాష్బోర్డ్ → API కీని జోడించండి **ఉపయోగం:** `minimax/MiniMax-M2.1` — **ప్రో చిట్కా:** సుదీర్ఘ కాంటెక్స్ట్ కోసం అత్యంత చవకైన ఎంపిక (1M టోకెన్లు)! #### Kimi K2 (నెలకు స్థిరంగా $9) 1. సబ్స్క్రైబ్ చేయండి: [Moonshot AI](https://platform.kimi.ai?aff=omniroute) 2. API కీని పొందండి → డ్యాష్బోర్డ్ → API కీని జోడించండి **ఉపయోగం:** `kimi/kimi-k2.5` — **ప్రో చిట్కా:** 10M టోకెన్లకు నెలకు స్థిరంగా $9 = 1Mకు $0.90 ప్రభావవంతమైన ఖర్చు! #### Baidu Qianfan / ERNIE 1. సైన్ అప్ చేయండి: [Baidu AI Cloud Qianfan](https://cloud.baidu.com/product/wenxinworkshop) 2. Qianfan API కీని సృష్టించండి → డ్యాష్బోర్డ్ → API కీని జోడించండి: ప్రొవైడర్: `qianfan` **ఉపయోగం:** `qianfan/ernie-5.1`, `qianfan/ernie-x1.1`, లేదా మరొక Qianfan OpenAI-అనుకూల మోడల్ ID. ### 🆓 ఉచిత ప్రొవైడర్లు ఆథెంటికేషన్ అవసరం లేని ఉచిత ప్రొవైడర్ల ప్రొవైడర్ పేజీలో **ఆథెంటికేషన్ అవసరం లేదు** పక్కన ఒక స్విచ్ ఉంటుంది. దాన్ని ఆఫ్ చేయడం వలన ఆ ప్రొవైడర్ నిలిపివేయబడుతుంది, ప్రొవైడర్ల కాన్ఫిగర్ చేసిన/కాంపాక్ట్ వీక్షణల నుండి అది తొలగించబడుతుంది మరియు దాని మోడల్లు `/v1/models` నుండి తొలగించబడతాయి. #### Qoder (9 ఉచిత మోడల్లు) ```bash డ్యాష్బోర్డ్ → Qoderను కనెక్ట్ చేయండి → OAuth లాగిన్ → యాక్సెస్ ప్రస్తుత ప్రొవైడర్ పరిమితులకు లోబడి ఉంటుంది మోడల్లు: if/qwen3.8-max-preview, if/qwen3.7-max, if/qwen3.7-plus, if/kimi-k3, if/kimi-k2.7-code, if/glm-5.2, if/deepseek-v4-pro, if/deepseek-v4-flash, if/minimax-m3 ``` #### Kiro (Claude ఉచితం) ```bash డ్యాష్బోర్డ్ → Kiroను కనెక్ట్ చేయండి → AWS Builder ID లేదా Google/GitHub → నెలకు ~50 క్రెడిట్లు మోడల్లు: kr/claude-sonnet-4.5, kr/claude-haiku-4.5 ``` --- ## 🎨 కాంబోలు ప్రతి కార్డ్పై ఉన్న హ్యాండిల్ను డ్రాగ్ చేయడం ద్వారా మీరు నేరుగా **Dashboard → Combos**లో కాంబో కార్డ్ల క్రమాన్ని మార్చవచ్చు. ఆ క్రమం SQLiteలో నిల్వ చేయబడుతుంది మరియు రీలోడ్ చేసినప్పుడు పునరుద్ధరించబడుతుంది. ### ఉదాహరణ 1: సబ్స్క్రిప్షన్ను గరిష్ఠంగా వినియోగించడం → చౌకైన బ్యాకప్ ``` Dashboard → Combos → Create New పేరు: premium-coding మోడల్లు: 1. cc/claude-opus-4-7 (ప్రధాన సబ్స్క్రిప్షన్) 2. glm/glm-4.7 (చౌకైన బ్యాకప్, $0.6/1M) 3. minimax/MiniMax-M2.7 (అత్యంత చౌకైన ఫాల్బ్యాక్, $0.3/1M) CLIలో ఉపయోగించండి: premium-coding ``` ### ఉదాహరణ 2: ఉచితమైనవి మాత్రమే (సున్నా ఖర్చు) ``` పేరు: free-combo మోడల్లు: 1. if/kimi-k2.7-code (ఉచిత యాక్సెస్గా జాబితా చేయబడింది; ప్రొవైడర్ పరిమితులు వర్తించవచ్చు) 2. kr/qwen3-coder-next (Kiro ఉచిత ఫాల్బ్యాక్) ఖర్చు: ప్రస్తుతం $0గా జాబితా చేయబడింది; నిబంధనలు మరియు లభ్యత మారవచ్చు ``` --- ## 🔧 CLI ఇంటిగ్రేషన్ ### Cursor IDE **Cursorను OmniRoute క్లయింట్గా ఉపయోగించడం** (Cursor చాట్ను OmniRoute ద్వారా రూట్ చేయండి): ``` Settings → Models → Advanced: OpenAI API బేస్ URL: http://localhost:20128/v1 OpenAI API కీ: [omniroute డ్యాష్బోర్డ్ నుండి] మోడల్: cc/claude-opus-4-7 ``` **OmniRouteను Cursor ప్రొవైడర్గా ఉపయోగించడం** (OmniRoute అప్స్ట్రీమ్లో Cursorను కాల్ చేస్తుంది): ప్రాధాన్యంగా **Dashboard → Providers → Cursor → Login with Cursor**ను ఉపయోగించండి. Dockerలో, [`docs/providers/CURSOR-DOCKER.md`](../providers/CURSOR-DOCKER.md) చూడండి. ### Claude Code `~/.claude/settings.json`ను సవరించండి: ```json { "env": { "ANTHROPIC_BASE_URL": "http://localhost:20128", "ANTHROPIC_AUTH_TOKEN": "your-omniroute-api-key" } } ``` ఇక్కడ Claude-అనుకూల రూట్ ఎండ్పాయింట్ను ఉపయోగించండి. `ANTHROPIC_BASE_URL`కు `/v1`ను జోడించవద్దు. ### Codex CLI ```bash export OPENAI_BASE_URL="http://localhost:20128" export OPENAI_API_KEY="your-omniroute-api-key" codex "your prompt" ``` ### OpenClaw `~/.openclaw/openclaw.json`ను సవరించండి: ```json { "agents": { "defaults": { "model": { "primary": "omniroute/if/kimi-k2.7-code" } } }, "models": { "providers": { "omniroute": { "baseUrl": "http://localhost:20128/v1", "apiKey": "your-omniroute-api-key", "api": "openai-completions", "models": [{ "id": "if/kimi-k2.7-code", "name": "Kimi K2.7 Code" }] } } } } ``` **లేదా Dashboard ఉపయోగించండి:** CLI Tools → OpenClaw → Auto-config ### Cline / Continue / RooCode ``` ప్రొవైడర్: OpenAI Compatible బేస్ URL: http://localhost:20128/v1 API కీ: [డ్యాష్బోర్డ్ నుండి] మోడల్: cc/claude-opus-4-7 ``` --- ## 🚀 డిప్లాయ్మెంట్ ### గ్లోబల్ npm ఇన్స్టాల్ (సిఫార్సు చేయబడింది) ```bash npm install -g omniroute # కాన్ఫిగ్ డైరెక్టరీని సృష్టించండి mkdir -p ~/.omniroute # .env ఫైల్ను సృష్టించండి (.env.example చూడండి) cp .env.example ~/.omniroute/.env # సర్వర్ను ప్రారంభించండి omniroute # లేదా అనుకూల పోర్ట్తో: omniroute --port 3000 ``` CLI స్వయంచాలకంగా `~/.omniroute/.env` లేదా `./.env` నుండి `.env`ను లోడ్ చేస్తుంది. ### ట్రే మోడ్ OmniRouteను సిస్టమ్ ట్రేలో ప్రారంభించండి: ```bash omniroute serve --tray ``` సర్వర్ మరియు ట్రే సిద్ధమైన తర్వాత కమాండ్ ముగుస్తుంది. టెర్మినల్ లేకుండానే సర్వర్ కొనసాగుతుంది. ట్రే మోడ్ macOS, Windows మరియు గ్రాఫికల్ Linux సెషన్లకు మద్దతు ఇస్తుంది. ట్రే మోడ్ డ్యాష్బోర్డ్ను స్వయంచాలకంగా తెరవదు. ఈ చర్యల కోసం ట్రే మెనూను ఉపయోగించండి: - డ్యాష్బోర్డ్ను తెరవండి. - `/dashboard/logs`ను తెరవండి. - ఆటో-స్టార్ట్ను మార్చండి. - OmniRouteను ఆపండి. ఈ ఆప్షన్లతో `--tray`ను కలిపి ఉపయోగించవద్దు: - `--daemon` - `--log` - `--no-recovery` ఈ మోడ్లకు వేర్వేరు ప్రాసెస్ యాజమాన్యం అవసరం. తదుపరి మెషీన్ లాగిన్ సమయంలో స్టార్టప్ను ప్రారంభించండి: ```bash omniroute autostart enable ``` macOS, Windows మరియు గ్రాఫికల్ Linux సెషన్లలో ఆటో-స్టార్ట్ ట్రే మోడ్ను ఉపయోగిస్తుంది. హెడ్లెస్ Linux ఇప్పటికే ఉన్న systemd యూజర్ సర్వీస్ను ఉపయోగిస్తుంది. లాగిన్ సమయంలో స్టార్టప్ను నిలిపివేయండి: ```bash omniroute autostart disable ``` ### అన్ఇన్స్టాల్ చేయడం మీకు ఇకపై OmniRoute అవసరం లేనప్పుడు, పూర్తిగా తొలగించడానికి మేము రెండు శీఘ్ర స్క్రిప్ట్లను అందిస్తున్నాము: | కమాండ్ | చర్య | | ------------------------ | ------------------------------------------------------------------------------------------------ | | `npm run uninstall` | సిస్టమ్ యాప్ను తొలగిస్తుంది, కానీ `~/.omniroute`లోని **మీ DB మరియు కాన్ఫిగరేషన్లను ఉంచుతుంది**. | | `npm run uninstall:full` | యాప్ను తొలగించడంతో పాటు **అన్ని కాన్ఫిగరేషన్లు, కీలు మరియు డేటాబేస్లను శాశ్వతంగా తొలగిస్తుంది**. | > గమనిక: ఈ కమాండ్లను అమలు చేయడానికి, OmniRoute ప్రాజెక్ట్ ఫోల్డర్కు వెళ్లి (మీరు దాన్ని క్లోన్ చేసి ఉంటే) వాటిని అమలు చేయండి. ప్రత్యామ్నాయంగా, గ్లోబల్గా ఇన్స్టాల్ చేసి ఉంటే, మీరు కేవలం `npm uninstall -g omniroute`ను అమలు చేయవచ్చు. ### VPS డిప్లాయ్మెంట్ ```bash git clone https://github.com/diegosouzapw/OmniRoute.git cd OmniRoute && npm install && npm run build export JWT_SECRET="your-secure-secret-change-this" export INITIAL_PASSWORD="your-password" export DATA_DIR="/var/lib/omniroute" export PORT="20128" export HOSTNAME="0.0.0.0" export NODE_ENV="production" export NEXT_PUBLIC_BASE_URL="http://localhost:20128" export API_KEY_SECRET="endpoint-proxy-api-key-secret" npm run start # లేదా: pm2 start npm --name omniroute -- start ``` ### PM2 డిప్లాయ్మెంట్ (తక్కువ మెమరీ) పరిమిత RAM ఉన్న సర్వర్ల కోసం, మెమరీ పరిమితి ఆప్షన్ను ఉపయోగించండి: ```bash # 512MB పరిమితితో (డిఫాల్ట్) pm2 start npm --name omniroute -- start # లేదా అనుకూల మెమరీ పరిమితితో OMNIROUTE_MEMORY_MB=512 pm2 start npm --name omniroute -- start # లేదా ecosystem.config.jsను ఉపయోగించి pm2 start ecosystem.config.js ``` `ecosystem.config.js`ను సృష్టించండి: ```javascript module.exports = { apps: [ { name: "omniroute", script: "npm", args: "start", env: { NODE_ENV: "production", OMNIROUTE_MEMORY_MB: "512", JWT_SECRET: "your-secret", INITIAL_PASSWORD: "your-password", }, node_args: "--max-old-space-size=512", max_memory_restart: "300M", }, ], }; ``` ### Docker ```bash # ఇమేజ్ను బిల్డ్ చేయండి (డిఫాల్ట్ = codex/claude/droid ముందే ఇన్స్టాల్ చేయబడిన runner-cli) docker build -t omniroute:cli . # పోర్టబుల్ మోడ్ (సిఫార్సు చేయబడింది) docker run -d --name omniroute -p 20128:20128 --env-file ./.env -v omniroute-data:/app/data omniroute:cli ``` CLI బైనరీలతో హోస్ట్-ఇంటిగ్రేటెడ్ మోడ్ కోసం, ప్రధాన డాక్యుమెంటేషన్లోని Docker విభాగాన్ని చూడండి. ### Void Linux (xbps-src) Void Linux వినియోగదారులు `xbps-src` క్రాస్-కంపైలేషన్ ఫ్రేమ్వర్క్ను ఉపయోగించి OmniRouteను స్థానికంగా ప్యాకేజ్ చేసి ఇన్స్టాల్ చేయవచ్చు. ఇది అవసరమైన `better-sqlite3` నేటివ్ బైండింగ్లతో పాటు Node.js స్వతంత్ర బిల్డ్ను ఆటోమేట్ చేస్తుంది.
xbps-src టెంప్లేట్ను వీక్షించండి ```bash # 'omniroute' కోసం టెంప్లేట్ ఫైల్ pkgname=omniroute version=3.8.0 revision=1 hostmakedepends="nodejs python3 make" depends="openssl" short_desc="Universal AI gateway with smart routing for multiple LLM providers" maintainer="zenobit " license="MIT" homepage="https://github.com/diegosouzapw/OmniRoute" distfiles="https://github.com/diegosouzapw/OmniRoute/archive/refs/tags/v${version}.tar.gz" checksum=009400afee90a9f32599d8fe734145cfd84098140b7287990183dde45ae2245b system_accounts="_omniroute" omniroute_homedir="/var/lib/omniroute" export NODE_ENV=production export npm_config_engine_strict=false export npm_config_loglevel=error export npm_config_fund=false export npm_config_audit=false do_build() { # node-gyp కోసం లక్ష్య CPU ఆర్కిటెక్చర్ను నిర్ధారించండి local _gyp_arch case "$XBPS_TARGET_MACHINE" in aarch64*) _gyp_arch=arm64 ;; armv7*|armv6*) _gyp_arch=arm ;; i686*) _gyp_arch=ia32 ;; *) _gyp_arch=x64 ;; esac # 1) అన్ని డిపెండెన్సీలను ఇన్స్టాల్ చేయండి – స్క్రిప్ట్లను దాటవేయండి NODE_ENV=development npm ci --ignore-scripts # 2) Next.js స్వతంత్ర బండిల్ను బిల్డ్ చేయండి npm run build # 3) స్టాటిక్ అసెట్లను స్వతంత్ర బండిల్లోకి కాపీ చేయండి cp -r .next/static .next/standalone/.next/static [ -d public ] && cp -r public .next/standalone/public || true # 4) better-sqlite3 నేటివ్ బైండింగ్ను కంపైల్ చేయండి local _node_gyp=/usr/lib/node_modules/npm/node_modules/node-gyp/bin/node-gyp.js (cd node_modules/better-sqlite3 && node "$_node_gyp" rebuild --arch="$_gyp_arch") # 5) కంపైల్ చేసిన బైండింగ్ను స్వతంత్ర బండిల్లో ఉంచండి local _bs3_release=.next/standalone/node_modules/better-sqlite3/build/Release mkdir -p "$_bs3_release" cp node_modules/better-sqlite3/build/Release/better_sqlite3.node "$_bs3_release/" # 6) ఆర్కిటెక్చర్-నిర్దిష్ట sharp బండిల్లను తొలగించండి rm -rf .next/standalone/node_modules/@img # 7) Next.js స్టాటిక్ విశ్లేషణ విస్మరించిన pino రన్టైమ్ డిపెండెన్సీలను కాపీ చేయండి: for _mod in pino-abstract-transport split2 process-warning; do cp -r "node_modules/$_mod" .next/standalone/node_modules/ done } do_check() { npm run test:unit } do_install() { vmkdir usr/lib/omniroute/.next vcopy .next/standalone/. usr/lib/omniroute/.next/standalone # పోస్ట్-ఇన్స్టాల్ హుక్ ద్వారా ఖాళీ Next.js యాప్ రౌటర్ డైరెక్టరీలు తొలగించబడకుండా నిరోధించండి for _d in \ .next/standalone/.next/server/app/dashboard \ .next/standalone/.next/server/app/dashboard/settings \ .next/standalone/.next/server/app/dashboard/providers; do touch "${DESTDIR}/usr/lib/omniroute/${_d}/.keep" done cat > "${WRKDIR}/omniroute" <<'EOF' #!/bin/sh export PORT="${PORT:-20128}" export DATA_DIR="${DATA_DIR:-${XDG_DATA_HOME:-${HOME}/.local/share}/omniroute}" export APP_LOG_TO_FILE="${APP_LOG_TO_FILE:-false}" mkdir -p "${DATA_DIR}" exec node /usr/lib/omniroute/.next/standalone/server.js "$@" EOF vbin "${WRKDIR}/omniroute" } post_install() { vlicense LICENSE } ```
### ఎన్విరాన్మెంట్ వేరియబుల్స్ | వేరియబుల్ | డిఫాల్ట్ | వివరణ | | --------------------------------------- | ------------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------- | | `JWT_SECRET` | `omniroute-default-secret-change-me` | JWT సంతకం కోసం రహస్యం (**ప్రొడక్షన్లో మార్చండి**) | | `INITIAL_PASSWORD` | `CHANGEME` | మొదటి లాగిన్ పాస్వర్డ్ | | `DATA_DIR` | `~/.omniroute` | డేటా డైరెక్టరీ (db, వినియోగం, లాగ్లు) | | `PORT` | ఫ్రేమ్వర్క్ డిఫాల్ట్ | సేవా పోర్ట్ (ఉదాహరణల్లో `20128`) | | `HOSTNAME` | ఫ్రేమ్వర్క్ డిఫాల్ట్ | బైండ్ హోస్ట్ (Docker డిఫాల్ట్ `0.0.0.0`) | | `NODE_ENV` | రన్టైమ్ డిఫాల్ట్ | డిప్లాయ్మెంట్ కోసం `production`గా సెట్ చేయండి | | `NEXT_PUBLIC_BASE_URL` | `http://localhost:20128` | డాష్బోర్డ్లో చూపబడే మరియు సర్వర్కు అందుబాటులో ఉండే పబ్లిక్ బేస్ URL (లెగసీ `BASE_URL`ను భర్తీ చేస్తుంది) | | `NEXT_PUBLIC_CLOUD_URL` | `https://omniroute.dev` | క్లౌడ్ సింక్ ఎండ్పాయింట్ బేస్ URL (లెగసీ `CLOUD_URL`ను భర్తీ చేస్తుంది) | | `API_KEY_SECRET` | `endpoint-proxy-api-key-secret` | రూపొందించిన API కీల కోసం HMAC రహస్యం | | `REQUIRE_API_KEY` | `false` | `/v1/*`పై Bearer API కీని తప్పనిసరి చేయండి | | `ALLOW_API_KEY_REVEAL` | `false` | ప్రామాణీకరించబడిన డాష్బోర్డ్ వినియోగదారులు అభ్యర్థనపై నిల్వ చేసిన పూర్తి API కీ విలువలను చూసేందుకు అనుమతించండి | | `PROVIDER_LIMITS_SYNC_INTERVAL_MINUTES` | `70` | క్యాష్ చేసిన ప్రొవైడర్ పరిమితుల డేటా కోసం సర్వర్-వైపు రిఫ్రెష్ వ్యవధి; UI రిఫ్రెష్ బటన్లు ఇప్పటికీ మాన్యువల్ సింక్ను ట్రిగ్గర్ చేస్తాయి | | `DISABLE_SQLITE_AUTO_BACKUP` | `false` | రైట్/ఇంపోర్ట్/రిస్టోర్కు ముందు ఆటోమేటిక్ SQLite స్నాప్షాట్లను నిలిపివేయండి; మాన్యువల్ బ్యాకప్లు ఇప్పటికీ పనిచేస్తాయి | | `APP_LOG_TO_FILE` | `true` | అప్లికేషన్ మరియు ఆడిట్ లాగ్ అవుట్పుట్ను డిస్క్లోకి ప్రారంభిస్తుంది | | `AUTH_COOKIE_SECURE` | `false` | `Secure` ప్రామాణీకరణ కుకీని బలవంతం చేయండి (HTTPS రివర్స్ ప్రాక్సీ వెనుక) | | `CLOUDFLARED_BIN` | సెట్ చేయబడలేదు | నిర్వహిత డౌన్లోడ్కు బదులుగా ఇప్పటికే ఉన్న `cloudflared` బైనరీని ఉపయోగించండి | | `CLOUDFLARED_PROTOCOL` | `http2` | నిర్వహిత క్విక్ టన్నెల్స్ కోసం ట్రాన్స్పోర్ట్ (`http2`, `quic`, లేదా `auto`) | | `OMNIROUTE_MEMORY_MB` | `512` | MBలో Node.js హీప్ పరిమితి | | `PROMPT_CACHE_MAX_SIZE` | `50` | ప్రాంప్ట్ క్యాష్ ఎంట్రీల గరిష్ఠ సంఖ్య | | `SEMANTIC_CACHE_MAX_SIZE` | `100` | సెమాంటిక్ క్యాష్ ఎంట్రీల గరిష్ఠ సంఖ్య | పూర్తి ఎన్విరాన్మెంట్ వేరియబుల్ సూచన కోసం, [README](../README.md) చూడండి. --- ## 📊 అందుబాటులో ఉన్న మోడల్లు
అందుబాటులో ఉన్న అన్ని మోడల్లను చూడండి > దిగువ జాబితా v3.8.0 కోసం `open-sse/config/providerRegistry.ts` నుండి ఎంపిక చేయబడింది. క్లౌడ్ కేటలాగ్లు (Gemini, OpenRouter మొదలైనవి) డైనమిక్గా సమకాలీకరించబడతాయి — పూర్తి లైవ్ కేటలాగ్ కోసం **Dashboard → Providers → [provider] → Available Models** తెరవండి లేదా `GET /api/models/catalog` కాల్ చేయండి. > > ప్రొవైడర్లో అంతర్నిర్మితంగా ఉన్న జాబితా తాజా స్థితికి భిన్నంగా ఉంటే, లైవ్ అప్స్ట్రీమ్ కేటలాగ్ను పొందడానికి ఆ పేజీలోని **Import from /models** ఉపయోగించండి (లేదా **Auto-Sync** ప్రారంభించండి). ఇది LLM7.io (`gemini-3.1-flash-lite`) మరియు UncloseAI (`solidrust/Hermes-3-Llama-3.1-8B-AWQ`) కోసం v3.8.50లో ధృవీకరించబడింది; అదే పరీక్షా సమయంలో Pollinations అనామక యాక్సెస్ అప్స్ట్రీమ్ పరిమితులతోనే కొనసాగింది. **Claude Code (`cc/`)** — Pro/Max OAuth: `cc/claude-opus-4-8`, `cc/claude-opus-4-7`, `cc/claude-opus-4-6`, `cc/claude-opus-4-5-20251101`, `cc/claude-sonnet-4-6`, `cc/claude-sonnet-4-5-20250929`, `cc/claude-haiku-4-5-20251001` **Codex (`cx/`)** — Plus/Pro OAuth: `cx/gpt-5.5` (+ శ్రమ స్థాయులు: `gpt-5.5-xhigh`, `gpt-5.5-high`, `gpt-5.5-medium`, `gpt-5.5-low`), `cx/gpt-5.4`, `cx/gpt-5.4-mini`, `cx/gpt-5.3-codex`, `cx/gpt-5.3-codex-spark` **GitHub Copilot (`gh/`)** — OAuth: `gh/gpt-5.5`, `gh/gpt-5.4`, `gh/gpt-5.4-mini`, `gh/gpt-5-mini`, `gh/gpt-5.3-codex`, `gh/claude-opus-4.7`, `gh/claude-opus-4.6`, `gh/claude-opus-4-5-20251101`, `gh/claude-sonnet-4.6`, `gh/claude-sonnet-4.5`, `gh/claude-haiku-4.5`, `gh/gemini-3.1-pro-preview`, `gh/gemini-3-flash-preview`, `gh/oswe-vscode-prime` **Kiro (`kr/`)** — ఉచిత OAuth: **Dashboard → Providers → Kiro → Available Models** కింద చూపబడే లైవ్ కేటలాగ్ను ఉపయోగించండి. లభ్యత ఖాతా మరియు ప్లాన్పై ఆధారపడి ఉంటుంది. **Qoder (`if/`)** — ఉచిత OAuth: `if/qwen3.8-max-preview`, `if/qwen3.7-max`, `if/qwen3.7-plus`, `if/kimi-k3`, `if/kimi-k2.7-code`, `if/glm-5.2`, `if/deepseek-v4-pro`, `if/deepseek-v4-flash`, `if/minimax-m3` **GLM (`glm/`, `glm-cn/`, `zai/`, `glmt/`)** — $0.2–0.6/1M: `glm/glm-5.1`, `glm/glm-5`, `glm/glm-5-turbo`, `glm/glm-4.7`, `glm/glm-4.7-flash`, `glm/glm-4.6`, `glm/glm-4.6v`, `glm/glm-4.5`, `glm/glm-4.5v`, `glm/glm-4.5-air` **MiniMax (`minimax/`, `minimax-cn/`)** — $0.2/1M: `minimax/MiniMax-M2.7`, `minimax/MiniMax-M2.7-highspeed`, `minimax/MiniMax-M2.5`, `minimax/MiniMax-M2.5-highspeed` **Kimi (`kimi/`, `kimi-coding/`, `kimi-coding-apikey/`)** — నెలకు స్థిరంగా $9 లేదా వినియోగం ఆధారంగా: `kimi/kimi-k2.6`, `kimi/kimi-k2.5` **DeepSeek (`ds/`)** — API కీ: `ds/deepseek-v4-pro`, `ds/deepseek-v4-flash` **Groq (`groq/`)** — అత్యంత వేగవంతమైనది: `groq/llama-3.3-70b-versatile`, `groq/meta-llama/llama-4-maverick-17b-128e-instruct`, `groq/qwen/qwen3-32b`, `groq/openai/gpt-oss-120b` **xAI (`xai/`)** — స్థానిక Grok: `xai/grok-4.3`, `xai/grok-4.20-multi-agent-0309`, `xai/grok-4.20-0309-reasoning`, `xai/grok-4.20-0309-non-reasoning` **Mistral (`mistral/`)** — EUలో హోస్ట్ చేయబడింది: `mistral/mistral-large-latest`, `mistral/mistral-medium-3-5`, `mistral/mistral-small-latest`, `mistral/devstral-latest`, `mistral/codestral-latest` **Perplexity (`pplx/`)** — శోధనతో విస్తరించబడింది: `pplx/sonar-deep-research`, `pplx/sonar-reasoning-pro`, `pplx/sonar-pro`, `pplx/sonar` **Together AI (`together/`)** — ఓపెన్ సోర్స్: `together/meta-llama/Llama-3.3-70B-Instruct-Turbo-Free` (ఉచితం), `together/meta-llama/Llama-Vision-Free`, `together/deepseek-ai/DeepSeek-R1-Distill-Llama-70B-Free`, `together/deepseek-ai/DeepSeek-R1`, `together/Qwen/Qwen3-235B-A22B`, `together/meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8` **Fireworks AI (`fireworks/`)** — వేగవంతమైన ఇన్ఫరెన్స్: `fireworks/accounts/fireworks/models/kimi-k2p6`, `fireworks/accounts/fireworks/models/minimax-m2p7`, `fireworks/accounts/fireworks/models/qwen3p6-plus`, `fireworks/accounts/fireworks/models/glm-5p1`, `fireworks/accounts/fireworks/models/deepseek-v4-pro` **Cerebras (`cerebras/`)** — వేఫర్ స్థాయి: `cerebras/zai-glm-4.7`, `cerebras/gpt-oss-120b` **Cohere (`cohere/`)** — RAGపై దృష్టి కేంద్రీకరించబడింది: `cohere/command-a-reasoning-08-2025`, `cohere/command-a-vision-07-2025`, `cohere/command-a-03-2025`, `cohere/command-r-08-2024` **NVIDIA NIM (`nvidia/`)** — ఎంటర్ప్రైజ్: `nvidia/z-ai/glm-5.1`, `nvidia/minimaxai/minimax-m2.7`, `nvidia/google/gemma-4-31b-it`, `nvidia/mistralai/mistral-small-4-119b-2603`, `nvidia/mistralai/mistral-large-3-675b-instruct-2512`, `nvidia/qwen/qwen3.5-397b-a17b`, `nvidia/deepseek-ai/deepseek-v4-pro`, `nvidia/openai/gpt-oss-120b`, `nvidia/nvidia/nemotron-3-super-120b-a12b` **Baidu Qianfan (`qianfan/`)** — ERNIE: `qianfan/ernie-5.1`, `qianfan/ernie-5.0-thinking-latest`, `qianfan/ernie-x1.1` **Ollama Cloud (`ollama-cloud/`)**: `ollama-cloud/deepseek-v4-pro`, `ollama-cloud/deepseek-v4-flash`, `ollama-cloud/kimi-k2.6`, `ollama-cloud/glm-5.1`, `ollama-cloud/minimax-m2.7`, `ollama-cloud/gemma4:31b`, `ollama-cloud/qwen3.5:397b` **Gemini (Google Cloud `gemini/`)**: Google నుండి ప్రతి API కీకి లైవ్గా సమకాలీకరించబడుతుంది — స్థిరమైన జాబితా లేదు. **Dashboard → Providers**లో ఒక కీని కనెక్ట్ చేసి, ఆపై ప్రస్తుత కేటలాగ్ను దిగుమతి చేయడానికి **Available Models** ఉపయోగించండి (ఉదా. `gemini/gemini-3-pro`, `gemini/gemini-3-flash`). **ఇతర అనుకూల ప్రొవైడర్లు** (ఎంపిక చేసినవి): `cohere`, `databricks`, `snowflake`, `together`, `vertex`, `alibaba`, `alibaba-cn`, `bedrock` (`aws-bedrock` ద్వారా), `azure-ai`, `openrouter` (పాస్త్రూ కేటలాగ్), `siliconflow`, `hyperbolic`, `huggingface`, `featherless-ai`, `cloudflare-ai`, `scaleway`, `deepinfra`, `vercel-ai-gateway`, `bazaarlink`, `friendliai`, `nous-research`, `reka`, `volcengine`, `ai21`, `gigachat`. ప్రతి ఒక్కటి `providerRegistry.ts`లో దాని స్వంత మోడల్ జాబితాను నిర్వహిస్తుంది మరియు ప్రొవైడర్ `/models` ఎండ్పాయింట్ను అందించినప్పుడు స్వయంచాలకంగా సమకాలీకరించవచ్చు. **మోడల్ IDలపై గమనిక:** OmniRoute ప్రొవైడర్కు స్థానికమైన IDలను (`claude-opus-4-8`, `gpt-5.5`, `glm-5.1`, `MiniMax-M2.7`, `kimi-k2.5`, `grok-4.20-0309-reasoning`) ఉపయోగిస్తుంది. అప్స్ట్రీమ్ API వాటిని ఆ విధంగానే ఆశిస్తుంది కాబట్టి కొన్ని IDలలో చుక్కలతో కూడిన వెర్షన్లు ఉంటాయి. ఒక మోడల్ పైన జాబితా చేయబడకపోతే, లభ్యతను నిర్ధారించడానికి `omniroute models --search ` అమలు చేయండి లేదా `GET /api/models/catalog` అభ్యర్థించండి.
--- ## 🧩 అధునాతన ఫీచర్లు ### అనుకూల మోడల్లు యాప్ అప్డేట్ కోసం వేచి ఉండకుండా ఏ ప్రొవైడర్కైనా ఏదైనా మోడల్ IDని జోడించండి: ```bash # API ద్వారా curl -X POST http://localhost:20128/api/provider-models \ -H "Content-Type: application/json" \ -d '{"provider": "openai", "modelId": "gpt-5.2", "modelName": "GPT-5.2"}' # జాబితా: curl http://localhost:20128/api/provider-models?provider=openai # తొలగింపు: curl -X DELETE "http://localhost:20128/api/provider-models?provider=openai&model=gpt-5.2" ``` లేదా డ్యాష్బోర్డ్ను ఉపయోగించండి: **ప్రొవైడర్లు → [ప్రొవైడర్] → అనుకూల మోడల్లు**. గమనికలు: - OpenRouter మరియు OpenAI/Anthropic-అనుకూల ప్రొవైడర్లు **అందుబాటులో ఉన్న మోడల్లు** నుండి మాత్రమే నిర్వహించబడతారు. మాన్యువల్ జోడింపు, దిగుమతి మరియు ఆటో-సింక్ అన్నీ ఒకే అందుబాటులో ఉన్న మోడల్ల జాబితాలో చేరతాయి, కాబట్టి ఆ ప్రొవైడర్లకు ప్రత్యేక అనుకూల మోడల్ల విభాగం ఉండదు. - నిర్వహిత అందుబాటులో ఉన్న మోడల్ దిగుమతులను అందించని ప్రొవైడర్ల కోసం **అనుకూల మోడల్లు** విభాగం ఉద్దేశించబడింది. ### అనుకూల OpenAI-అనుకూల ప్రొవైడర్లు OpenAI APIతో కమ్యూనికేట్ చేయగల ఏ గేట్వేనైనా (స్వయంగా హోస్ట్ చేసిన ప్రాక్సీ, vLLM, మూడవ పక్ష అగ్రిగేటర్) దాని స్వంత ప్రొవైడర్ నోడ్గా జోడించవచ్చు: 1. **ప్రొవైడర్లు → OpenAI అనుకూల ప్రొవైడర్ను జోడించండి**. 2. **పేరు**: నోడ్కు ప్రదర్శన లేబుల్. 3. **ప్రిఫిక్స్**: రూటింగ్ పేరు. క్లయింట్లు మోడల్లను `/` రూపంలో కాల్ చేస్తారు, కాబట్టి `mygw` ప్రిఫిక్స్ గల నోడ్ `mygw/gpt-4o-mini`ని అందిస్తుంది. ఇది తప్పనిసరి; అక్షరాలపై ఎలాంటి పరిమితి లేదు. 4. **API రకం**: గేట్వే అందించే ఎండ్పాయింట్ కుటుంబం (చాట్ కంప్లీషన్లు, రెస్పాన్స్లు, ఎంబెడ్డింగ్లు, ఆడియో, చిత్రాలు). 5. **బేస్ URL**: `/v1` వరకు, దానితో సహా, ఉండే API రూట్ (ఉదాహరణకు `https://gateway.example.com/v1`), పూర్తి `/chat/completions` పాత్ కాదు. ప్రామాణికం కాని పాత్లు గల గేట్వేలు వాటిని **అధునాతన సెట్టింగ్లు** కింద సెట్ చేస్తాయి (చాట్ పాత్, మోడల్ల పాత్). 6. **API కీ (తనిఖీ కోసం)** ఫీల్డ్ కనెక్షన్ను మాత్రమే పరీక్షిస్తుంది. నోడ్ను సృష్టించిన తర్వాత, దాన్ని తెరిచి, అభ్యర్థనలు ఉపయోగించే కీని నిల్వ చేయడానికి **కనెక్షన్ను జోడించండి** ఉపయోగించండి. నోడ్కు `openai-compatible--` రూపంలో అంతర్గత ID లభిస్తుంది; మీరు దాన్ని ఎప్పుడూ టైప్ చేయాల్సిన అవసరం లేదు, ప్రిఫిక్సే పబ్లిక్ పేరు. #### రిజర్వ్ చేసిన ప్రిఫిక్స్లు ప్రిఫిక్స్ అనేది అంతర్నిర్మిత ప్రొవైడర్ ID లేదా అలియాస్ (ఉదాహరణకు `openai`, `cf`) గానీ, విరమింపజేసిన ప్రొవైడర్ ID గానీ కాకూడదు. మోడల్ రిజాల్వర్ అనుకూల నోడ్లకు ముందు అంతర్నిర్మిత IDలు మరియు అలియాస్లను తనిఖీ చేస్తుంది, కాబట్టి అలాంటి ప్రిఫిక్స్ను ఉపయోగించే నోడ్కు ట్రాఫిక్ ఎప్పటికీ చేరదు: `/model` బదులుగా అంతర్నిర్మిత ప్రొవైడర్కు వెళ్తుంది, లేదా ఆ ప్రొవైడర్ విరమింపజేయబడి ఉంటే సురక్షితంగా విఫలమవుతుంది. అలాంటి ప్రిఫిక్స్తో నోడ్ను సృష్టించడం లేదా సవరించడం ఈ సందేశంతో తిరస్కరించబడుతుంది: ```text prefix: "" అనేది రిజర్వ్ చేసిన ప్రొవైడర్ ప్రిఫిక్స్ — వేరొక ప్రిఫిక్స్ను ఎంచుకోండి (రిజర్వ్ చేసిన IDలు/అలియాస్లను అనుకూల నోడ్ల కోసం ఉపయోగించలేరు, ఎందుకంటే /model వంటి అభ్యర్థనలు అంతర్నిర్మిత ప్రొవైడర్కు రూట్ అవుతాయి లేదా అది విరమింపజేయబడినప్పుడు సురక్షితంగా విఫలమవుతాయి) ``` ప్రత్యేకమైన ప్రిఫిక్స్ను ఎంచుకోండి (`mygw`, `acme-proxy`). అనుకూల నోడ్కు పంపిన అభ్యర్థనలు అంతర్నిర్మిత ప్రొవైడర్ లేదా దాని క్రెడెన్షియల్లను పేర్కొనే లోపంతో విఫలమైతే, నోడ్ ప్రిఫిక్స్ రిజర్వ్ చేయబడిందో లేదో తనిఖీ చేయండి: ఈ నియమం అమల్లోకి రాకముందు సేవ్ చేసిన నోడ్లు ఇప్పటికీ నిల్వలో ఉంటాయి, కానీ వాటి ప్రిఫిక్స్ అంతర్నిర్మిత ప్రొవైడర్కు రూట్ అవుతుంది. నోడ్ను సవరించి, దానికి కొత్త ప్రిఫిక్స్ ఇవ్వండి. ### OmniRoute పీర్లను చైన్ చేయడం మరొక OmniRoute గేట్వేను **అనుకూల OpenAI-అనుకూల** ప్రొవైడర్గా జోడించవచ్చు. ఆ పీర్కు చెందిన `/v1` బేస్ URLను మరియు ఆ పీర్ జారీ చేసిన ప్రత్యేకమైన, కనిష్ఠ-అధికార API కీని ఉపయోగించండి. పరస్పర లేదా బహుళ-హాప్ చైన్ల కోసం, ప్రతి గేట్వేపై ఆప్ట్-ఇన్ లూప్ గార్డ్ను ప్రారంభించండి: ```bash # gateway-a OMNIROUTE_INSTANCE_ID=gateway-a OMNIROUTE_PEER_URLS=http://gateway-b:20128/v1 OMNIROUTE_PEER_MAX_HOPS=4 ``` ```bash # gateway-b OMNIROUTE_INSTANCE_ID=gateway-b OMNIROUTE_PEER_URLS=http://gateway-a:20128/v1 OMNIROUTE_PEER_MAX_HOPS=4 ``` స్పష్టంగా అనుమతుల జాబితాలో చేర్చిన పీర్ URLకు పంపిన అభ్యర్థనలు మాత్రమే `X-OmniRoute-Peer-Trace` హెడర్ను పొందుతాయి. పునరావృతమైన ఇన్స్టాన్స్ ID లేదా అయిపోయిన హాప్ బడ్జెట్ను గేట్వే HTTP `508 Loop Detected`తో తిరస్కరిస్తుంది; సాధారణ అప్స్ట్రీమ్ ప్రొవైడర్లకు ఎలాంటి పీర్ మెటాడేటా అందదు. పీర్ చైనింగ్ అనేది డేటాబేస్ రెప్లికేషన్ లేదా హోస్ట్ ఫెయిల్ఓవర్ కాదు. ప్రతి గేట్వే స్వతంత్ర SQLite స్థితి, క్యాష్లు, రేట్ కౌంటర్లు మరియు సెషన్లను నిర్వహిస్తుంది. యాక్టివ్/ప్యాసివ్ లేదా యాక్టివ్/యాక్టివ్ లభ్యత కోసం ఆరోగ్య-తనిఖీ గల రివర్స్ ప్రాక్సీ లేదా క్లయింట్ ఫెయిల్ఓవర్ను ఉపయోగించండి, అలాగే ఒక SQLite డేటాబేస్ను ఒకేసారి నడుస్తున్న అనేక OmniRoute ఇన్స్టాన్స్లకు ఎప్పుడూ మౌంట్ చేయవద్దు. ### ప్రత్యేక ప్రొవైడర్ రూట్లు మోడల్ ధ్రువీకరణతో అభ్యర్థనలను నేరుగా నిర్దిష్ట ప్రొవైడర్కు రూట్ చేయండి: ```bash POST http://localhost:20128/v1/providers/openai/chat/completions POST http://localhost:20128/v1/providers/openai/embeddings POST http://localhost:20128/v1/providers/fireworks/images/generations ``` ప్రొవైడర్ ప్రిఫిక్స్ లేకపోతే అది స్వయంచాలకంగా జోడించబడుతుంది. సరిపోలని మోడల్లు `400`ను అందిస్తాయి. ### నెట్వర్క్ ప్రాక్సీ కాన్ఫిగరేషన్ ```bash # గ్లోబల్ ప్రాక్సీని సెట్ చేయండి curl -X PUT http://localhost:20128/api/settings/proxy \ -d '{"global": {"type":"http","host":"proxy.example.com","port":"8080"}}' # ప్రతి ప్రొవైడర్కు ప్రత్యేక ప్రాక్సీ curl -X PUT http://localhost:20128/api/settings/proxy \ -d '{"providers": {"openai": {"type":"socks5","host":"proxy.example.com","port":"1080"}}}' # ప్రాక్సీని పరీక్షించండి curl -X POST http://localhost:20128/api/settings/proxy/test \ -d '{"proxy":{"type":"socks5","host":"proxy.example.com","port":"1080"}}' ``` **ప్రాధాన్యత క్రమం:** కీ-నిర్దిష్ట → కాంబో-నిర్దిష్ట → ప్రొవైడర్-నిర్దిష్ట → గ్లోబల్ → ఎన్విరాన్మెంట్. ### మోడల్ కేటలాగ్ API ```bash curl http://localhost:20128/api/models/catalog ``` రకాలతో (`chat`, `embedding`, `image`) ప్రొవైడర్ వారీగా సమూహీకరించిన మోడల్లను అందిస్తుంది. ### క్లౌడ్ సింక్ - పరికరాల మధ్య ప్రొవైడర్లు, కాంబోలు మరియు సెట్టింగ్లను సింక్ చేయండి - టైమ్అవుట్ + ఫెయిల్-ఫాస్ట్తో ఆటోమేటిక్ బ్యాక్గ్రౌండ్ సింక్ - ప్రొడక్షన్లో సర్వర్-సైడ్ `NEXT_PUBLIC_BASE_URL`/`NEXT_PUBLIC_CLOUD_URL`కు ప్రాధాన్యం ఇవ్వండి ### Cloudflare క్విక్ టన్నెల్ - Docker మరియు ఇతర self-hosted deploymentల కోసం **Dashboard → Endpoints**లో అందుబాటులో ఉంటుంది - మీ ప్రస్తుత OpenAI-compatible `/v1` endpointకు ఫార్వర్డ్ చేసే తాత్కాలిక `https://*.trycloudflare.com` URLను సృష్టిస్తుంది - మొదటిసారి ప్రారంభించినప్పుడు, అవసరమైతే మాత్రమే `cloudflared`ను ఇన్స్టాల్ చేస్తుంది; తర్వాతి restartలలో అదే నిర్వహిత binaryని మళ్లీ ఉపయోగిస్తుంది - OmniRoute లేదా container restart తర్వాత Quick Tunnelలు స్వయంచాలకంగా పునరుద్ధరించబడవు; అవసరమైనప్పుడు dashboard నుండి వాటిని మళ్లీ ప్రారంభించండి - Tunnel URLలు తాత్కాలికమైనవి మరియు మీరు tunnelను stop/start చేసిన ప్రతిసారీ మారతాయి - పరిమిత వనరులున్న containerలలో అధికంగా కనిపించే QUIC UDP buffer హెచ్చరికలను నివారించడానికి, నిర్వహిత Quick Tunnelలు డిఫాల్ట్గా HTTP/2 transportను ఉపయోగిస్తాయి - నిర్వహిత transport ఎంపికను override చేయాలనుకుంటే `CLOUDFLARED_PROTOCOL=quic` లేదా `auto`గా సెట్ చేయండి - నిర్వహిత downloadకు బదులుగా ముందే ఇన్స్టాల్ చేసిన `cloudflared` binaryని ఉపయోగించాలనుకుంటే `CLOUDFLARED_BIN`ను సెట్ చేయండి - Cloudflare Quick Tunnel, Tailscale Funnel మరియు ngrok Tunnel panelలను **Settings → Appearance**లో చూపించవచ్చు లేదా దాచవచ్చు. ఒక panelను దాచడం వల్ల నడుస్తున్న tunnel ఆగదు. ### LLM Gateway ఇంటెలిజెన్స్ (దశ 9) - **Semantic Cache** — streaming కాని, temperature=0 responseలను స్వయంచాలకంగా cache చేస్తుంది (`X-OmniRoute-No-Cache: true`తో bypass చేయవచ్చు) - **Request Idempotency** — `Idempotency-Key` లేదా `X-Request-Id` header ద్వారా 5s వ్యవధిలోని requestలను deduplicate చేస్తుంది - **Progress Tracking** — `X-OmniRoute-Progress: true` header ద్వారా ఎంచుకుని ప్రారంభించగల SSE `event: progress` eventలు --- ### Translator Playground **Dashboard → Translator** ద్వారా యాక్సెస్ చేయండి. providerల మధ్య OmniRoute API requestలను ఎలా అనువదిస్తుందో debug చేసి, దృశ్యరూపంలో చూడండి. | మోడ్ | ఉద్దేశ్యం | | ---------------- | -------------------------------------------------------------------------------------------- | | **Playground** | source/target formatలను ఎంచుకుని, requestను paste చేసి, అనువదించిన outputను తక్షణమే చూడండి | | **Chat Tester** | proxy ద్వారా ప్రత్యక్ష chat messageలను పంపించి, పూర్తి request/response cycleను పరిశీలించండి | | **Test Bench** | అనువాదం సరైనదని ధృవీకరించడానికి అనేక format కలయికలపై batch testలను అమలు చేయండి | | **Live Monitor** | requestలు proxy ద్వారా ప్రవహిస్తున్నప్పుడు real-time అనువాదాలను చూడండి | **వినియోగ సందర్భాలు:** - ఒక నిర్దిష్ట client/provider కలయిక ఎందుకు విఫలమవుతుందో debug చేయడం - thinking tagలు, tool callలు మరియు system promptలు సరిగ్గా అనువదించబడుతున్నాయని ధృవీకరించడం - OpenAI, Claude, Gemini మరియు Responses API formatల మధ్య తేడాలను పోల్చడం --- ### Routing వ్యూహాలు **Dashboard → Settings → Routing** ద్వారా కాన్ఫిగర్ చేయండి. dashboard అత్యధికంగా ఉపయోగించే ఆరు వ్యూహాలను అందిస్తుంది; comboలు మరియు auto-router అంతర్గతంగా మరింత విస్తృతమైన సమితికి మద్దతు ఇస్తాయి. **Dashboardలో కనిపించే వ్యూహాలు (account-level routing):** | వ్యూహం | వివరణ | | ------------------------------ | -------------------------------------------------------------------------------------------------------------------------------------------------------------- | | **Fill First** | ప్రాధాన్యత క్రమంలో accountలను ఉపయోగిస్తుంది — primary account అందుబాటులో లేనంతవరకు అన్ని requestలను అదే నిర్వహిస్తుంది | | **Round Robin** | కాన్ఫిగర్ చేయగల sticky limitతో అన్ని accountలను చక్రీయంగా ఉపయోగిస్తుంది (డిఫాల్ట్: ప్రతి accountకు 3 callలు) | | **P2C (Power of Two Choices)** | యాదృచ్ఛికంగా 2 accountలను ఎంచుకుని, వాటిలో మెరుగైన ఆరోగ్య స్థితిలో ఉన్నదానికి route చేస్తుంది — ఆరోగ్య స్థితిని పరిగణనలోకి తీసుకుంటూ loadను సమతుల్యం చేస్తుంది | | **Random** | Fisher-Yates shuffleను ఉపయోగించి ప్రతి request కోసం యాదృచ్ఛికంగా ఒక accountను ఎంచుకుంటుంది | | **Least Used** | అత్యంత పాత `lastUsedAt` timestamp ఉన్న accountకు route చేస్తూ, trafficను సమానంగా పంపిణీ చేస్తుంది | | **Cost Optimized** | అత్యల్ప priority value ఉన్న accountకు route చేస్తూ, అతి తక్కువ ఖర్చు గల providerల కోసం optimize చేస్తుంది | **అధునాతన combo మరియు auto వ్యూహాలు** (ప్రతి comboకు విడిగా లేదా `auto/*` prefixల ద్వారా కాన్ఫిగర్ చేయవచ్చు — [AUTO-COMBO.md](../routing/AUTO-COMBO.md) చూడండి): - `priority` — ఖచ్చితమైన క్రమం, ఎప్పుడూ round-robin చేయదు - `weighted` — ప్రతి model weight ఆధారంగా అనుపాత traffic విభజన - `fill-first` — limit చేరుకునే వరకు మొదటి modelను పూర్తిగా ఉపయోగిస్తుంది - `round-robin` / `strict-random` / `random` - `p2c` (Power of Two Choices) - `least-used` మరియు `cost-optimized` - `auto` — అన్ని candidateలలో score ఆధారంగా ఎంపిక - `lkgp` (Last Known Good Provider) — చివరిగా విజయవంతమైన providerకే స్థిరపరుస్తుంది, ఆపై ruleలకు fallback అవుతుంది - `context-optimized` — అత్యధిక ఖాళీ context window ఉన్న modelను ఎంచుకుంటుంది - `context-relay` — తదుపరి turnల కోసం long-context modelలను chain చేస్తుంది #### బాహ్య Sticky Session Header బాహ్య session affinity కోసం (ఉదాహరణకు, reverse proxyల వెనుక ఉన్న Claude Code/Codex agentలు), దీన్ని పంపండి: ```http X-Session-Id: your-session-key ``` OmniRoute `x_session_id`ను కూడా అంగీకరిస్తుంది మరియు ప్రభావవంతమైన session keyని `X-OmniRoute-Session-Id`లో తిరిగి అందిస్తుంది. మీరు Nginx ఉపయోగిస్తూ underscore రూపంలోని headerలను పంపితే, దీన్ని ప్రారంభించండి: ```nginx underscores_in_headers on; ``` #### Wildcard Model Aliasలు model పేర్లను remap చేయడానికి wildcard patternలను సృష్టించండి: ``` Pattern: claude-sonnet-* → Target: cc/claude-sonnet-4-6 Pattern: gpt-* → Target: gh/gpt-5.3-codex ``` Wildcardలు `*` (ఏవైనా అక్షరాలు) మరియు `?` (ఒకే అక్షరం)కు మద్దతు ఇస్తాయి. #### Fallback Chainలు అన్ని requestలకు వర్తించే global fallback chainలను నిర్వచించండి: ``` Chain: production-fallback 1. cc/claude-opus-4-7 2. gh/gpt-5.3-codex 3. glm/glm-4.7 ``` --- ### సాధారణ Provider కలయికలు & Routing నమూనాలు OmniRouteలో అనేక providerలను కలపడానికి మరియు వాటి మధ్య routing చేయడానికి కొన్ని ఉదాహరణ నమూనాలు ఇక్కడ ఉన్నాయి: #### 1. Coding Agent Combo: ఖర్చు/వేగం Fallbackతో అత్యున్నత స్థాయి Reasoning coding agentలకు (OpenCode, Claude Code, Cursor, Cline) అనువైనది. ప్రారంభంలో frontier reasoning modelలకు route చేసి, quota ముగిసినప్పుడు లేదా errorలు సంభవించినప్పుడు వేగవంతమైన coding modelలకు fallback అవుతుంది. - **Dashboard**: Combos → New Combo → Name: `agent-coding` → Strategy: `Priority` - **Modelలు**: 1. `claude/claude-sonnet-4-6` (Primary coding agent) 2. `openai/gpt-4o` (Secondary high-capacity fallback) 3. `deepseek/deepseek-v4-flash` (అధిక సామర్థ్యం, తక్కువ ఖర్చుతో కూడిన fallback) ```bash # API ద్వారా ఉదాహరణ curl -X POST http://localhost:20128/api/combos \ -H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" \ -H "Content-Type: application/json" \ -d '{ "name": "agent-coding", "strategy": "priority", "models": [ { "model": "claude/claude-sonnet-4-6" }, { "model": "openai/gpt-4o" }, { "model": "deepseek/deepseek-v4-flash" } ] }' ``` #### 2. ఉచిత-స్థాయి ఆటోమేటిక్ ఫెయిల్ఓవర్ కాంబో API ఖర్చులు లేకుండా అప్టైమ్ను గరిష్ఠం చేయడానికి అనేక ఉచిత-స్థాయి మరియు కీ అవసరం లేని ప్రొవైడర్లను వరుసగా అనుసంధానిస్తుంది. - **వ్యూహం**: `Least Used` లేదా `Round Robin` (కోటాల మధ్య లోడ్ను పంపిణీ చేస్తుంది) - **మోడళ్లు**: 1. `groq/llama-3.3-70b-versatile` 2. `gemini/gemini-2.5-flash` 3. `cerebras/gpt-oss-120b` ```bash # CLI ద్వారా ఉదాహరణ omniroute combo create free-stack \ --models "groq/llama-3.3-70b-versatile,gemini/gemini-2.5-flash,cerebras/gpt-oss-120b" \ --strategy round-robin ``` #### 3. మల్టీమోడల్ / విజన్ & టెక్స్ట్ పైప్లైన్ చిత్రాలను అర్థం చేసుకోవడం మరియు కోడ్ జనరేషన్తో కూడిన వర్క్ఫ్లోల కోసం ప్రత్యేక విజన్ మోడళ్లను హై-స్పీడ్ టెక్స్ట్ జనరేషన్తో జత చేస్తుంది. - **నమూనా**: ముందుగా విజన్ సామర్థ్యం గల మోడళ్లను, చివరగా అధిక త్రూపుట్ గల టెక్స్ట్/కోడ్ మోడల్ను జాబితా చేసే `Priority` కాంబో. - **మోడళ్లు**: 1. `gemini/gemini-2.5-pro` (చిత్రాలు/మల్టీమోడల్ కంటెంట్ను బలంగా అర్థం చేసుకునే సామర్థ్యం) 2. `openai/gpt-4o` (విజన్ మరియు టూల్ వినియోగంలో సమతుల్యత) 3. `deepseek/deepseek-v4-flash` (టెక్స్ట్/కోడ్ జనరేషన్) --- ### స్థితిస్థాపకత & సర్క్యూట్ బ్రేకర్లు **Dashboard → Settings → Resilience** ద్వారా కాన్ఫిగర్ చేయండి. OmniRoute ఐదు భాగాలతో ప్రొవైడర్-స్థాయి స్థితిస్థాపకతను అమలు చేస్తుంది: 1. **రిక్వెస్ట్ క్యూ & పేసింగ్** — సిస్టమ్-స్థాయి రిక్వెస్ట్ షేపింగ్: - **నిమిషానికి రిక్వెస్ట్లు (RPM)** — ఒక్కో ఖాతాకు నిమిషానికి అనుమతించబడే గరిష్ఠ రిక్వెస్ట్లు - **రిక్వెస్ట్ల మధ్య కనిష్ఠ సమయం** — రిక్వెస్ట్ల మధ్య మిల్లీసెకన్లలో కనిష్ఠ విరామం - **గరిష్ఠ సమకాలీన రిక్వెస్ట్లు** — ఒక్కో ఖాతాకు గరిష్ఠంగా అనుమతించబడే ఏకకాల రిక్వెస్ట్లు 2. **కనెక్షన్ కూల్డౌన్** — మళ్లీ ప్రయత్నించగల వైఫల్యాల తర్వాత ఒక కనెక్షన్ కోసం ప్రతి ఆత్-రకానికి ప్రత్యేక కాన్ఫిగరేషన్: - **బేస్ కూల్డౌన్** — మళ్లీ ప్రయత్నించగల అప్స్ట్రీమ్ వైఫల్యాల కోసం డిఫాల్ట్ కూల్డౌన్ వ్యవధి - **అప్స్ట్రీమ్ రీట్రై సూచనలను ఉపయోగించండి** — అందుబాటులో ఉన్నప్పుడు ప్రామాణిక `Retry-After` లేదా రీసెట్ సూచనలను గౌరవిస్తుంది - **గరిష్ఠ బ్యాక్ఆఫ్ దశలు** — పునరావృత వైఫల్యాల కోసం గరిష్ఠ ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్ స్థాయి 3. **ప్రొవైడర్ సర్క్యూట్ బ్రేకర్** — ఎండ్-టు-ఎండ్ ప్రొవైడర్ వైఫల్యాలను ట్రాక్ చేస్తుంది, కాన్ఫిగర్ చేసిన హెచ్చరిక పరిమితి వద్ద ప్రొవైడర్ను క్షీణించిన స్థితిలో ఉన్నట్లు గుర్తిస్తుంది మరియు కాన్ఫిగర్ చేసిన వైఫల్య పరిమితి చేరుకున్నప్పుడు బ్రేకర్ను తెరుస్తుంది: - **క్షీణత పరిమితి** — `DEGRADED` స్థితిలోకి ప్రవేశించే ముందు సంభవించే వరుస ప్రొవైడర్ వైఫల్యాలు - **వైఫల్య పరిమితి** — `OPEN` స్థితిలోకి ప్రవేశించే ముందు సంభవించే వరుస ప్రొవైడర్ వైఫల్యాలు - **రీసెట్ టైమ్అవుట్** — ప్రొవైడర్ను మళ్లీ పరీక్షించే ముందు వేచి ఉండే సమయ వ్యవధి - **CLOSED** (ఆరోగ్యకరం) — రిక్వెస్ట్లు సాధారణంగా ప్రవహిస్తాయి - **DEGRADED** — పెరిగిన వైఫల్యాలను ట్రాక్ చేస్తున్నప్పటికీ రిక్వెస్ట్లు ప్రవహిస్తూనే ఉంటాయి - **OPEN** — పునరావృత వైఫల్యాల తర్వాత ప్రొవైడర్ తాత్కాలికంగా బ్లాక్ చేయబడుతుంది - **HALF_OPEN** — ప్రొవైడర్ కోలుకుందో లేదో పరీక్షిస్తుంది కనెక్షన్ పరిధికి చెందిన `429` రేట్ లిమిట్లు **కనెక్షన్ కూల్డౌన్**లోనే ఉంటాయి మరియు ప్రొవైడర్ బ్రేకర్ గణనలోకి రావు. ప్రొవైడర్ బ్రేకర్ రన్టైమ్ స్థితి **Dashboard → Health**లో మాత్రమే చూపబడుతుంది. 4. **కూల్డౌన్ కోసం వేచి ఉండటం** — ప్రతి అభ్యర్థి కనెక్షన్ ఇప్పటికే కూల్డౌన్లో ఉంటే, OmniRoute అత్యంత త్వరగా ముగిసే కూల్డౌన్ కోసం వేచి ఉండి, అదే క్లయింట్ రిక్వెస్ట్ను ఆటోమేటిక్గా మళ్లీ ప్రయత్నించగలదు. 5. **రేట్ లిమిట్ ఆటో-డిటెక్షన్** — అప్స్ట్రీమ్ ప్రొవైడర్లు స్పష్టమైన నిరీక్షణ వ్యవధులను అందించినప్పుడు, ఈ సెట్టింగ్ ప్రారంభించబడి ఉంటే ఆ సూచనలు స్థానిక కనెక్షన్ కూల్డౌన్ను ఓవర్రైడ్ చేస్తాయి. **నిపుణుల చిట్కా:** అవుటేజ్ తర్వాత లైవ్ ప్రొవైడర్ బ్రేకర్లను పరిశీలించడానికి మరియు రీసెట్ చేయడానికి **Health** పేజీని ఉపయోగించండి. Resilience పేజీ కాన్ఫిగరేషన్ను మాత్రమే మారుస్తుంది. --- ### డేటాబేస్ ఎక్స్పోర్ట్ / ఇంపోర్ట్ **Dashboard → Settings → System & Storage**లో డేటాబేస్ బ్యాకప్లను నిర్వహించండి. | చర్య | వివరణ | | ------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | **డేటాబేస్ను ఎక్స్పోర్ట్ చేయండి** | ప్రస్తుత SQLite డేటాబేస్ను `.sqlite` ఫైల్గా డౌన్లోడ్ చేస్తుంది | | **అన్నింటినీ ఎక్స్పోర్ట్ చేయండి (.tar.gz)** | డేటాబేస్, సెట్టింగ్లు, కాంబోలు, ప్రొవైడర్ కనెక్షన్లు (క్రెడెన్షియల్లు లేకుండా), API కీ మెటాడేటాతో కూడిన పూర్తి బ్యాకప్ ఆర్కైవ్ను డౌన్లోడ్ చేస్తుంది | | **డేటాబేస్ను ఇంపోర్ట్ చేయండి** | ప్రస్తుత డేటాబేస్ను భర్తీ చేయడానికి `.sqlite` ఫైల్ను అప్లోడ్ చేస్తుంది. `DISABLE_SQLITE_AUTO_BACKUP=true` అయితే తప్ప, ఇంపోర్ట్కు ముందు బ్యాకప్ ఆటోమేటిక్గా సృష్టించబడుతుంది | ```bash # API: డేటాబేస్ను ఎక్స్పోర్ట్ చేయండి curl -o backup.sqlite http://localhost:20128/api/db-backups/export # API: అన్నింటినీ ఎక్స్పోర్ట్ చేయండి (పూర్తి ఆర్కైవ్) curl -o backup.tar.gz http://localhost:20128/api/db-backups/exportAll # API: డేటాబేస్ను ఇంపోర్ట్ చేయండి curl -X POST http://localhost:20128/api/db-backups/import \ -F "file=@backup.sqlite" ``` **ఇంపోర్ట్ ధ్రువీకరణ:** ఇంపోర్ట్ చేసిన ఫైల్ సమగ్రత (SQLite pragma తనిఖీ), అవసరమైన పట్టికలు (`provider_connections`, `provider_nodes`, `combos`, `api_keys`) మరియు పరిమాణం (గరిష్ఠంగా 100MB) కోసం ధ్రువీకరించబడుతుంది. **వినియోగ సందర్భాలు:** - OmniRouteను ఒక మెషీన్ నుండి మరొక మెషీన్కు మైగ్రేట్ చేయడం - విపత్తు పునరుద్ధరణ కోసం బాహ్య బ్యాకప్లను సృష్టించడం - బృంద సభ్యుల మధ్య కాన్ఫిగరేషన్లను పంచుకోవడం (అన్నింటినీ ఎక్స్పోర్ట్ చేయండి → ఆర్కైవ్ను పంచుకోండి) --- ### సెట్టింగ్ల డ్యాష్బోర్డ్ సులభమైన నావిగేషన్ కోసం సెట్టింగ్ల పేజీ **7 ట్యాబ్లు**గా నిర్వహించబడింది: | ట్యాబ్ | విషయాలు | | ------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | **సాధారణం** | సిస్టమ్ నిల్వ సాధనాలు, డిఫాల్ట్ ప్రవర్తన, Endpoint టన్నెల్ దృశ్యమానత | | **రూపం** | థీమ్ నియంత్రణలు (లైట్/డార్క్/సిస్టమ్), సైడ్బార్ దృశ్యమానత, Cloudflare/Tailscale/ngrok టన్నెల్ కార్డ్ల కోసం ప్యానెల్ టాగుల్లు | | **AI** | థింకింగ్ బడ్జెట్ (పాస్త్రూ / ఆటో-స్ట్రిప్ / కస్టమ్ / అడాప్టివ్ — [THINKING_BUDGET.md](./THINKING_BUDGET.md) చూడండి), గ్లోబల్ సిస్టమ్ ప్రాంప్ట్, ప్రాంప్ట్ క్యాష్ గణాంకాలు | | **భద్రత** | లాగిన్/పాస్వర్డ్ సెట్టింగ్లు, IP యాక్సెస్ నియంత్రణ, `/models` కోసం API ప్రమాణీకరణ, ప్రొవైడర్ బ్లాకింగ్, ప్రాంప్ట్-ఇంజెక్షన్ రక్షణ | | **రూటింగ్** | గ్లోబల్ రూటింగ్ వ్యూహం (మొదటిదాన్ని నింపు / రౌండ్ రాబిన్ / P2C / యాదృచ్ఛికం / అతి తక్కువగా ఉపయోగించినది / ఖర్చు-ఆప్టిమైజ్డ్), వైల్డ్కార్డ్ మోడల్ అలియాస్లు, ఫాల్బ్యాక్ చైన్లు, కాంబో డిఫాల్ట్లు | | **స్థిరత్వం** | అభ్యర్థన క్యూ, కనెక్షన్ కూల్డౌన్, ప్రొవైడర్ బ్రేకర్ కాన్ఫిగరేషన్ మరియు కూల్డౌన్ కోసం వేచి ఉండే ప్రవర్తన | | **అధునాతనం** | గ్లోబల్ ప్రాక్సీ కాన్ఫిగరేషన్ (HTTP/SOCKS5), ప్రతి ప్రొవైడర్కు ప్రత్యేక ప్రాక్సీ ఓవర్రైడ్లు | సాధారణ ట్యాబ్ ఇకపై చదవడానికి మాత్రమే అనుమతించే లాగింగ్ మరియు క్యాష్ గమనికలను నకలు చేయదు. డేటాబేస్ నిలుపుదల మరియు ఆప్టిమైజేషన్ సెట్టింగ్లు `/api/settings/database` ద్వారా శాశ్వతంగా నిల్వ చేయబడతాయి; క్యాష్ను మాన్యువల్గా క్లియర్ చేయడానికి `DELETE /api/cache` ఉపయోగించబడుతుంది. అభ్యర్థన మరియు ప్రాక్సీ లాగ్ వరుసల పరిమితులు `CALL_LOGS_TABLE_MAX_ROWS` మరియు `PROXY_LOGS_TABLE_MAX_ROWS` ద్వారా నియంత్రించబడతాయి. --- ### ఖర్చులు & బడ్జెట్ నిర్వహణ **డ్యాష్బోర్డ్ → ఖర్చులు** ద్వారా యాక్సెస్ చేయండి. | ట్యాబ్ | ఉద్దేశ్యం | | ----------- | --------------------------------------------------------------------------------------------------------- | | **బడ్జెట్** | రోజువారీ/వారపు/నెలవారీ బడ్జెట్లు మరియు రియల్-టైమ్ ట్రాకింగ్తో ప్రతి API కీకి ఖర్చు పరిమితులను సెట్ చేయండి | | **ధరలు** | మోడల్ ధరల ఎంట్రీలను వీక్షించి, సవరించండి — ప్రతి ప్రొవైడర్కు 1K ఇన్పుట్/అవుట్పుట్ టోకెన్లకు ఖర్చు | ```bash # API: బడ్జెట్ను సెట్ చేయండి curl -X POST http://localhost:20128/api/usage/budget \ -H "Content-Type: application/json" \ -d '{"keyId": "key-123", "limit": 50.00, "period": "monthly"}' # API: ప్రస్తుత బడ్జెట్ స్థితిని పొందండి curl http://localhost:20128/api/usage/budget ``` **ఖర్చు ట్రాకింగ్:** ప్రతి అభ్యర్థన టోకెన్ వినియోగాన్ని లాగ్ చేస్తుంది మరియు ధరల పట్టికను ఉపయోగించి ఖర్చును లెక్కిస్తుంది. ప్రొవైడర్, మోడల్ మరియు API కీ వారీగా విభజనలను **డ్యాష్బోర్డ్ → వినియోగం**లో వీక్షించండి. --- ### ఆడియో ట్రాన్స్క్రిప్షన్ OmniRoute, OpenAI-అనుకూల Endpoint ద్వారా ఆడియో ట్రాన్స్క్రిప్షన్కు మద్దతు ఇస్తుంది: ```bash POST /v1/audio/transcriptions Authorization: Bearer your-api-key Content-Type: multipart/form-data # curlతో ఉదాహరణ curl -X POST http://localhost:20128/v1/audio/transcriptions \ -H "Authorization: Bearer your-api-key" \ -F "file=@audio.mp3" \ -F "model=openai/whisper-1" ``` `deepgram/nova-3` అనేది స్థానిక Deepgram రూట్ మరియు దీనికి Deepgram API కీ అవసరం. OpenRouter మాత్రమే కాన్ఫిగర్ చేయబడి ఉంటే, `openrouter/deepgram/nova-3` ఉపయోగించండి. **స్పీచ్-టు-టెక్స్ట్ (ట్రాన్స్క్రిప్షన్)** ప్రొవైడర్లు: - `openai/` (whisper-అనుకూలం) - `groq/` (Groq Whisper Turbo) - `deepgram/` (Nova కుటుంబం) - `assemblyai/` - `nvidia/` (Parakeet, Canary) - `huggingface/` (whisper వేరియంట్లు) - `qwen/` **టెక్స్ట్-టు-స్పీచ్ (`POST /v1/audio/speech`)** ప్రొవైడర్లు: - `openai/` (tts-1, tts-1-hd) - `hyperbolic/` - `deepgram/` (Aura) - `nvidia/` (Magpie TTS) - `elevenlabs/` - `huggingface/` - `inworld/` - `cartesia/` - `playht/` - `kie/` - `aws-polly/` - `xiaomi-mimo/` - `coqui/`, `tortoise/` - `qwen/` ట్రాన్స్క్రిప్షన్ కోసం మద్దతు ఉన్న ఆడియో ఫార్మాట్లు: `mp3`, `wav`, `m4a`, `flac`, `ogg`, `webm`. TTS అవుట్పుట్ ఫార్మాట్లు ప్రొవైడర్పై ఆధారపడి ఉంటాయి (mp3, wav, opus, pcm, mulaw). --- ### కాంబో బ్యాలెన్సింగ్ వ్యూహాలు **డ్యాష్బోర్డ్ → కాంబోలు → సృష్టించు/సవరించు → వ్యూహం**లో ప్రతి కాంబోకు బ్యాలెన్సింగ్ను కాన్ఫిగర్ చేయండి. | వ్యూహం | వివరణ | | ----------------------------- | ---------------------------------------------------------------------------------------------- | | **రౌండ్-రాబిన్** | మోడల్లను వరుస క్రమంలో మారుస్తుంది | | **ప్రాధాన్యత** | ఎల్లప్పుడూ మొదటి మోడల్ను ప్రయత్నిస్తుంది; లోపం సంభవించినప్పుడు మాత్రమే ఫాల్బ్యాక్ అవుతుంది | | **యాదృచ్ఛికం** | ప్రతి అభ్యర్థనకు కాంబో నుండి ఒక యాదృచ్ఛిక మోడల్ను ఎంచుకుంటుంది | | **వెయిటెడ్** | ప్రతి మోడల్కు కేటాయించిన వెయిట్ల ఆధారంగా అనుపాతంలో రూట్ చేస్తుంది | | **అతి తక్కువగా ఉపయోగించినది** | ఇటీవల అతి తక్కువ అభ్యర్థనలు అందుకున్న మోడల్కు రూట్ చేస్తుంది (కాంబో మెట్రిక్లను ఉపయోగిస్తుంది) | | **ఖర్చు-ఆప్టిమైజ్డ్** | అందుబాటులో ఉన్న అతి చవకైన మోడల్కు రూట్ చేస్తుంది (ధరల పట్టికను ఉపయోగిస్తుంది) | గ్లోబల్ కాంబో డిఫాల్ట్లను **డ్యాష్బోర్డ్ → సెట్టింగ్లు → రూటింగ్ → కాంబో డిఫాల్ట్లు**లో సెట్ చేయవచ్చు. కాంబో లక్ష్య టైమ్అవుట్లు డిఫాల్ట్గా ప్రస్తుత అభ్యర్థన టైమ్అవుట్ను స్వీకరిస్తాయి. తక్కువ ప్రతి-లక్ష్య పరిమితి వేగవంతమైన ఫాల్బ్యాక్ను ట్రిగ్గర్ చేయాల్సినప్పుడు మాత్రమే కాంబో డిఫాల్ట్లలో లేదా వ్యక్తిగత కాంబోలో **లక్ష్య టైమ్అవుట్ (సెకన్లు)** ఉపయోగించండి. జీరో-లేటెన్సీ కాంబో ఆప్టిమైజేషన్లను ఐచ్ఛికంగా ప్రారంభించాలి. ఈ లేటెన్సీ ఫీచర్లు ఫాల్బ్యాక్ లక్ష్యాలతో పోటీ పడకుండా, TTFT చరిత్ర ఆధారంగా లక్ష్యాలను దాటవేయకుండా లేదా ఫాల్బ్యాక్ అభ్యర్థనలను కంప్రెస్ చేయకుండా నిరోధించడానికి **జీరో-లేటెన్సీ ఆప్టిమైజేషన్లు**ను నిలిపివేసి ఉంచండి; దీన్ని ప్రారంభించడం ద్వారా కాన్ఫిగర్ చేసిన హెడ్జింగ్, అంచనా TTFT స్కిప్లు మరియు ముందస్తు ఫాల్బ్యాక్ కంప్రెషన్, తక్కువ టెయిల్ లేటెన్సీ కోసం రూటింగ్/అభ్యర్థన ఖచ్చితత్వాన్ని త్యాగం చేయగలవు. అప్స్ట్రీమ్ ప్రొవైడర్లకు కఠినమైన `max_tokens` / `maxOutputTokens` పరిమితులు అవసరమైనప్పుడు **రీజనింగ్ టోకెన్ బఫర్**ను నిలిపివేయండి. ఇది ప్రారంభించబడినప్పుడు, తెలిసిన అవుట్పుట్ పరిమితి ఉన్న మోడళ్లకు మాత్రమే కాంబో రూటింగ్ రీజనింగ్-మోడల్ అదనపు సామర్థ్యాన్ని జోడిస్తుంది మరియు సురక్షితమైన బఫర్ చేసిన విలువ ఆ పరిమితిని మించితే క్లయింట్ టోకెన్ పరిమితిని మార్చకుండా ఉంచుతుంది. క్లయింట్ పరిమితి ఇప్పటికే తెలిసిన పరిమితి కంటే ఎక్కువగా ఉంటే, అప్స్ట్రీమ్ అభ్యర్థనను పంపే ముందు OmniRoute దానిని ఆ పరిమితికి తగ్గిస్తుంది. --- ### సిస్టమ్ హెల్త్ డాష్బోర్డ్ **డాష్బోర్డ్ → హెల్త్** ద్వారా యాక్సెస్ చేయండి. 6 కార్డ్లతో రియల్-టైమ్ సిస్టమ్ హెల్త్ సమగ్ర అవలోకనం: | కార్డ్ | ఇది చూపించేది | | ----------------------- | ----------------------------------------------------------- | | **సిస్టమ్ స్థితి** | అప్టైమ్, వెర్షన్, మెమరీ వినియోగం, డేటా డైరెక్టరీ | | **ప్రొవైడర్ హెల్త్** | గ్లోబల్ ప్రొవైడర్ సర్క్యూట్ బ్రేకర్ రన్టైమ్ స్థితి | | **రేట్ పరిమితులు** | మిగిలిన సమయంతో ప్రతి ఖాతాకు సక్రియ కనెక్షన్ కూల్డౌన్లు | | **సక్రియ లాకౌట్లు** | సక్రియ మోడల్-స్కోప్డ్ లాకౌట్లు మరియు తాత్కాలిక మినహాయింపులు | | **సిగ్నేచర్ క్యాష్** | డీడూప్లికేషన్ క్యాష్ గణాంకాలు (సక్రియ కీలు, హిట్ రేట్) | | **లేటెన్సీ టెలిమెట్రీ** | ప్రతి ప్రొవైడర్కు p50/p95/p99 లేటెన్సీ అగ్రిగేషన్ | **ప్రో చిట్కా:** హెల్త్ పేజీ ప్రతి 10 సెకన్లకు ఆటో-రిఫ్రెష్ అవుతుంది. ఏ ప్రొవైడర్లు సమస్యలను ఎదుర్కొంటున్నారో గుర్తించడానికి సర్క్యూట్ బ్రేకర్ కార్డ్ను ఉపయోగించండి. --- ## 🤖 ఆటో-రూటింగ్ (కాన్ఫిగరేషన్ అవసరం లేదు) OmniRoute ప్రతి కనెక్ట్ చేయబడిన ప్రొవైడర్లోనూ ప్రతి అభ్యర్థనకు ఉత్తమ మోడల్ను ఎంచుకునే **స్కోర్-ఆధారిత ఆటో-రూటర్**తో వస్తుంది — నిర్వహించాల్సిన కాంబో ఏదీ లేదు. `auto/*` ప్రిఫిక్స్లలో ఒకదానితో అభ్యర్థనను పంపితే చాలు; OmniRoute వెంటనే ఒక వర్చువల్ కాంబోను రూపొందించి, లేటెన్సీ, ఖర్చు, విజయ శాతం, కాంటెక్స్ట్ అనుకూలత, టాస్క్కు మోడల్ సామర్థ్యం, ఇటీవలి వైఫల్యాలు, కోటా, సర్క్యూట్-బ్రేకర్ స్థితి ఆధారంగా అభ్యర్థి మోడల్లకు స్కోర్ ఇస్తుంది. | ప్రిఫిక్స్ | దేనికి అనుకూలీకరిస్తుంది | | -------------- | ----------------------------------------------------------------------------------------------------------- | | `auto` | సమతుల్య డిఫాల్ట్ (లేటెన్సీ × ఖర్చు × విజయ శాతం) | | `auto/coding` | కోడింగ్ టాస్క్లు: Claude, GPT-5, GLM, Kimi, Qwen Coder, DeepSeek కోడర్లకు ప్రాధాన్యం ఇస్తుంది | | `auto/cheap` | అత్యల్ప $/token, అధిక లేటెన్సీని అంగీకరిస్తుంది | | `auto/fast` | అత్యల్ప లేటెన్సీ, ఖర్చును పట్టించుకోదు | | `auto/offline` | స్థానిక-మాత్రమే ప్రొవైడర్లు (Ollama, vLLM, llama.cpp) — ఎయిర్-గ్యాప్డ్ సెటప్లకు ఉపయోగకరం | | `auto/smart` | రీజనింగ్ నాణ్యతకు మొదటి ప్రాధాన్యం (Opus, GPT-5 xhigh, R1, GLM 5.1 reasoning) | | `auto/lkgp` | "చివరిగా విజయవంతమైన ప్రొవైడర్" — చివరిగా విజయవంతమైన ప్రొవైడర్కే పిన్ చేసి, ఆపై నియమాలకు ఫాల్బ్యాక్ అవుతుంది | ఉదాహరణ: ```bash curl -X POST http://localhost:20128/v1/chat/completions \ -H "Authorization: Bearer $OMNIROUTE_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "auto/coding", "messages": [{ "role": "user", "content": "Refactor this Python function" }], "stream": true }' ``` స్కోరింగ్ వెయిట్లను ఎలా సర్దుబాటు చేయాలి, ప్రొవైడర్లను బ్లాక్లిస్ట్ చేయడం ఎలా, అలాగే **Dashboard → Auto Combo**లో రూటింగ్ నిర్ణయాలను ఎలా పరిశీలించాలి అనే వివరాలతో సహా ఆటో-రూటర్ గురించి [AUTO-COMBO.md](../routing/AUTO-COMBO.md)లో పూర్తిగా వివరించబడింది. --- ## 🔌 MCP & A2A ఇంటిగ్రేషన్ OmniRoute ఒక **MCP సర్వర్** (Model Context Protocol) మరియు ఒక **A2A సర్వర్** (Agent-to-Agent JSON-RPC 2.0) రెండూ. ఏదైనా MCP-అనుకూల IDE లేదా ఏజెంట్ హోస్ట్ OmniRoute టూల్లను నేరుగా కాల్ చేయగలదు — అదనపు ర్యాపర్ అవసరం లేదు. ### MCP ట్రాన్స్పోర్ట్లు - **SSE**: `http://localhost:20128/api/mcp/sse` - **స్ట్రీమ్ చేయగల HTTP**: `http://localhost:20128/api/mcp/stream` - **stdio**: `omniroute --mcp` (stdioను ఇష్టపడే IDE ప్లగిన్ల కోసం) ### Claude Desktopను కనెక్ట్ చేయండి `~/Library/Application Support/Claude/claude_desktop_config.json` (macOS) లేదా Windows/Linuxలో దానికి సమానమైన ఫైల్ను సవరించండి: ```json { "mcpServers": { "omniroute": { "command": "omniroute", "args": ["--mcp"] } } } ``` ### Cursor / Continue / VS Code MCPను కనెక్ట్ చేయండి SSE URL `http://localhost:20128/api/mcp/sse`ను మరియు **Dashboard → API Keys**లో రూపొందించిన Bearer API కీని ఉపయోగించండి. ### స్కోప్లు MCP ప్రస్తుతం 32 పేరుగల స్కోప్లను నిర్వచిస్తుంది. ప్రతి Bearer కీని నిర్దిష్ట స్కోప్లకు పరిమితం చేయవచ్చు — ప్రామాణిక స్కోప్ మరియు టూల్ జాబితా కోసం [MCP-SERVER.md](../frameworks/MCP-SERVER.md)ను, JSON-RPC స్కీమా కోసం [A2A-SERVER.md](../frameworks/A2A-SERVER.md)ను చూడండి. --- ## 🧠 నైపుణ్యాల వ్యవస్థ ఏజెంట్లు మరియు A2A ఎండ్పాయింట్ డొమైన్-నిర్దిష్ట రొటీన్లను (ఉదా. `code-review`, `summarize`, `extract-facts`, `web-research`) అమలు చేయగలిగేలా OmniRoute విస్తరించదగిన **నైపుణ్య ఫ్రేమ్వర్క్ను** (`src/lib/skills/`) అందిస్తుంది. - **మార్కెట్ప్లేస్ UI** — **డ్యాష్బోర్డ్ → నైపుణ్యాలు** నుండి నైపుణ్యాలను బ్రౌజ్ చేసి, ఇన్స్టాల్ చేయండి - **ఒక్కో కీకి స్కోప్లు** — ఏ API కీలు ఏ నైపుణ్యాలను అమలు చేయగలవో నియంత్రించండి - **అనుకూల నైపుణ్యాలు** — `src/lib/a2a/skills/`లో ఒక TypeScript ఫైల్ను ఉంచి, దాన్ని నమోదు చేస్తే, అది వెంటనే A2A ద్వారా అమలు చేయదగినదిగా మారుతుంది పూర్తి సూచన: [SKILLS.md](../frameworks/SKILLS.md). --- ## 💾 మెమరీ వ్యవస్థ OmniRoute హైబ్రిడ్ రిట్రీవల్తో **దీర్ఘకాలిక సంభాషణ మెమరీని** నిల్వ చేస్తుంది: - గత సంభాషణ టర్న్లలో కీవర్డ్ శోధన కోసం **SQLite FTS5** - భావార్థ రీకాల్ కోసం **Qdrant వెక్టర్ స్టోర్** (ఐచ్ఛికం) - **ఆటోమేటిక్ ఫ్యాక్ట్ ఎక్స్ట్రాక్షన్** — ప్రతి సెషన్ తర్వాత ఎంటిటీలు, ప్రాధాన్యతలు మరియు నిర్ణయాలు సంగ్రహించబడి, `memory_facts` పట్టికలో నిల్వ చేయబడతాయి - మెమరీలు ఒక్కో API కీకి మరియు ఒక్కో సెషన్కు ప్రత్యేకంగా పరిమితం చేయబడతాయి **డ్యాష్బోర్డ్ → మెమరీ**లో మెమరీలను నిర్వహించండి (శోధించండి, సవరించండి, ఎగుమతి చేయండి, పూర్తిగా తొలగించండి). HTTP ఇంటర్ఫేస్ (`/api/memory/*`) ద్వారా ఏజెంట్లు ప్రోగ్రామాటిక్గా ఫ్యాక్ట్లను పంపించవచ్చు మరియు ప్రశ్నించవచ్చు — [MEMORY.md](../frameworks/MEMORY.md) చూడండి. --- ## 🔔 వెబ్హుక్లు రియల్-టైమ్ పర్యవేక్షణ మరియు ఆటోమేషన్ కోసం OmniRoute ఈవెంట్లకు సబ్స్క్రైబ్ చేయండి. - లక్ష్య URL మరియు HMAC సంతక సీక్రెట్తో **డ్యాష్బోర్డ్ → వెబ్హుక్లు**లో ఒక వెబ్హుక్ను సృష్టించండి - అందుబాటులో ఉన్న ఈవెంట్లు: `request.completed`, `request.failed`, `provider.unavailable`, `budget.exceeded`, `combo.switched`, `circuit_breaker.opened`, `circuit_breaker.closed` - ధృవీకరణ కోసం ప్రతి పేలోడ్లో `X-OmniRoute-Signature` (HMAC-SHA256) ఉంటుంది - మళ్లీ ప్రయత్నాలు: ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్తో 3 ప్రయత్నాలు, ఆ తర్వాత డెడ్-లెటర్ క్యూ పూర్తి స్కీమా [WEBHOOKS.md](../frameworks/WEBHOOKS.md)లో ఉంది. --- ## ☁️ క్లౌడ్ ఏజెంట్లు OmniRoute క్లౌడ్ కోడింగ్ ఏజెంట్లతో (**OpenAI Codex Cloud**, **Devin**, **Jules**, **Antigravity**) అనుసంధానమవుతుంది, తద్వారా మీ స్థానిక రూటింగ్ను నిర్వహించే అదే డ్యాష్బోర్డ్ నుండి దీర్ఘకాలం నడిచే టాస్క్లను పంపించవచ్చు. - **డ్యాష్బోర్డ్ → క్లౌడ్ ఏజెంట్లు**లో లేదా `POST /api/v1/agents/tasks` ద్వారా టాస్క్లను సృష్టించండి - ఒక్కో టాస్క్కు సంబంధించిన స్థితి, లాగ్లు మరియు ఆర్టిఫ్యాక్ట్లను ట్రాక్ చేయండి - ఒక్కో ప్రొవైడర్కు మీ స్వంత API కీని ఉపయోగించండి — క్రెడెన్షియల్లు ఎప్పటికీ OmniRoute ఇన్స్టాన్స్ను వదిలి వెళ్లవు పూర్తి సూచన: [CLOUD_AGENT.md](../frameworks/CLOUD_AGENT.md). --- ## 🛠️ ప్రోగ్రామాటిక్ నిర్వహణ **`manage` స్కోప్ ఉన్న Bearer కీని** ఉపయోగించి HTTP ద్వారా ప్రతి OmniRoute వనరును (ప్రొవైడర్లు, కాంబోలు, కీలు, సెట్టింగ్లు) నిర్వహించవచ్చు. **డ్యాష్బోర్డ్ → API కీలు → కొత్త కీ → స్కోప్: manage**లో కీని రూపొందించి, ఆపై: ```bash # ప్రొవైడర్లను జాబితా చేయండి curl http://localhost:20128/api/providers \ -H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" # ప్రొవైడర్ కనెక్షన్ను జోడించండి curl -X POST http://localhost:20128/api/providers \ -H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" \ -H "Content-Type: application/json" \ -d '{ "provider": "openai", "apiKey": "sk-...", "name": "main" }' # కాంబోను సృష్టించండి curl -X POST http://localhost:20128/api/combos \ -H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" \ -H "Content-Type: application/json" \ -d '{ "name": "premium", "strategy": "priority", "models": [{ "model": "cc/claude-opus-4-7" }, { "model": "glm/glm-5.1" }] }' # API కీలను జాబితా చేయండి/సృష్టించండి curl http://localhost:20128/api/keys -H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" curl -X POST http://localhost:20128/api/keys -H "Authorization: Bearer $OMNIROUTE_MANAGE_KEY" \ -d '{ "name": "ci-bot", "scopes": ["chat"] }' ``` పూర్తి ఎండ్పాయింట్ కేటలాగ్ మరియు రిక్వెస్ట్/రెస్పాన్స్ స్కీమాల కోసం [API_REFERENCE.md](../reference/API_REFERENCE.md) చూడండి. --- ## 💻 అంతర్గత CLI సెటప్, డయాగ్నస్టిక్స్ మరియు రన్టైమ్ నియంత్రణ కోసం OmniRoute అంతర్గత CLI (`omniroute …`)తో వస్తుంది. ఇది **డ్యాష్బోర్డ్లోని "CLI సాధనాలు" పేజీకి భిన్నమైనది**; ఆ పేజీ మూడవ పక్ష CLIలను (Claude Code, Cursor, Codex, Cline, …) కాన్ఫిగర్ చేసి, అవి OmniRouteతో కమ్యూనికేట్ చేయగలిగేలా చేస్తుంది. ```bash omniroute setup # ఇంటరాక్టివ్ విజార్డ్ (పాస్వర్డ్, ప్రొవైడర్లు, కాంబోలు) omniroute setup --non-interactive # CIకి అనుకూలమైనది omniroute doctor # ఆరోగ్య డయాగ్నస్టిక్స్ (డేటా డైరెక్టరీ, DB, ప్రొవైడర్లు, పోర్టులు) omniroute providers available # మద్దతు ఉన్న ప్రొవైడర్లను జాబితా చేయండి omniroute providers list # కాన్ఫిగర్ చేసిన కనెక్షన్లను జాబితా చేయండి omniroute providers test # ప్రొవైడర్ కనెక్షన్ను ప్రత్యక్షంగా పరీక్షించండి omniroute combos list # కాంబోలను జాబితా చేయండి omniroute combos switch # డిఫాల్ట్ కాంబోను సెట్ చేయండి omniroute models # అందుబాటులో ఉన్న మోడళ్లను జాబితా చేయండి (--json, --search) omniroute keys add | list | remove # టెర్మినల్ నుండి API కీలను నిర్వహించండి omniroute backup # కాన్ఫిగరేషన్ + DB స్నాప్షాట్ omniroute restore [] # స్నాప్షాట్ నుండి పునరుద్ధరించండి omniroute health # వివరణాత్మక ఆరోగ్య స్థితి (బ్రేకర్లు, కాష్, మెమరీ) omniroute quota # ప్రొవైడర్ కోటా వినియోగం omniroute mcp status # MCP సర్వర్ స్థితి omniroute a2a status # A2A సర్వర్ స్థితి omniroute tunnel list|create|stop # Cloudflare/Tailscale/ngrok టన్నెల్లు omniroute reset-password # అడ్మిన్ పాస్వర్డ్ను రీసెట్ చేయండి omniroute --mcp # stdio ద్వారా MCP సర్వర్ను ప్రారంభించండి omniroute --port 3000 # అనుకూల పోర్టులో సర్వర్ను ప్రారంభించండి ``` చిట్కా: అనారోగ్యకరమైన ప్రొవైడర్ కనెక్షన్లపై హెచ్చరికలు పొందడానికి `omniroute doctor --json`ను మీ మానిటరింగ్ సాధనంతో జత చేయండి. --- ## 🖥️ డెస్క్టాప్ అప్లికేషన్ (Electron) OmniRoute Windows, macOS మరియు Linux కోసం స్థానిక డెస్క్టాప్ అప్లికేషన్గా అందుబాటులో ఉంది. ### ఇన్స్టాలేషన్ ```bash # electron డైరెక్టరీ నుండి: cd electron npm install # డెవలప్మెంట్ మోడ్ (రన్ అవుతున్న Next.js డెవ్ సర్వర్కు కనెక్ట్ అవుతుంది): npm run dev # ప్రొడక్షన్ మోడ్ (స్టాండ్అలోన్ బిల్డ్ను ఉపయోగిస్తుంది): npm start ``` ### ఇన్స్టాలర్లను బిల్డ్ చేయడం ```bash cd electron npm run build # ప్రస్తుత ప్లాట్ఫారమ్ npm run build:win # Windows (.exe NSIS) npm run build:mac # macOS (.dmg యూనివర్సల్) npm run build:linux # Linux (.AppImage) ``` అవుట్పుట్ → `electron/dist-electron/` ### ముఖ్య ఫీచర్లు | ఫీచర్ | వివరణ | | ---------------------------- | ------------------------------------------------------------------------------ | | **సర్వర్ సిద్ధస్థితి** | విండోను చూపించే ముందు సర్వర్ను పోలింగ్ చేస్తుంది (ఖాళీ స్క్రీన్ ఉండదు) | | **సిస్టమ్ ట్రే** | ట్రేకు మినిమైజ్ చేయడం, పోర్టును మార్చడం, ట్రే మెను నుండి నిష్క్రమించడం | | **పోర్ట్ నిర్వహణ** | ట్రే నుండి సర్వర్ పోర్టును మార్చడం (సర్వర్ను స్వయంచాలకంగా పునఃప్రారంభిస్తుంది) | | **కంటెంట్ సెక్యూరిటీ పాలసీ** | సెషన్ హెడర్ల ద్వారా కఠినమైన CSP | | **ఒకే ఇన్స్టాన్స్** | ఒక సమయంలో ఒక అప్లికేషన్ ఇన్స్టాన్స్ మాత్రమే రన్ అవుతుంది | | **ఆఫ్లైన్ మోడ్** | బండిల్ చేసిన Next.js సర్వర్ ఇంటర్నెట్ లేకుండా పనిచేస్తుంది | ### ఎన్విరాన్మెంట్ వేరియబుల్స్ | వేరియబుల్ | డిఫాల్ట్ | వివరణ | | --------------------- | -------- | ---------------------------------- | | `OMNIROUTE_PORT` | `20128` | సర్వర్ పోర్టు | | `OMNIROUTE_MEMORY_MB` | `512` | Node.js హీప్ పరిమితి (64–16384 MB) | 📖 పూర్తి డాక్యుమెంటేషన్: [`electron/README.md`](../../electron/README.md)