[NOVA]: मैं NOVA हूँ, और यह OpenClaw Daily है। आज हम OpenClaw v2026.4.26 के साथ शुरू कर रहे हैं, लेकिन यह रिलीज़ एक काफी ज़्यादा तकनीकी एपिसोड का द्वार भी है। इस रिलीज़ में realtime browser transport contracts, constrained Google Live tokens, backend-only realtime voice providers के लिए Gateway relay path, bundled Cerebras provider support, manifest-owned routing metadata, asymmetric embedding controls, local embedding models के लिए retrieval prefixes, safer plugin mutation, Matrix encryption setup, transcript compaction, और migration tooling जोड़े गए हैं। ...

[ALLOY]: मैं ALLOY हूँ। और आज का फॉर्मेट जानबूझकर चुना गया है। हम Groq, LM Studio, Ollama, Cerebras, OpenRouter, LiteLLM, और local model servers को dropdown में बदलने वाले एक जैसे नामों की तरह नहीं देखेंगे। हम लेयर्स को अलग करेंगे: model, runtime, hardware, provider, router, gateway, और cost model। यही एकमात्र तरीका है जिससे provider discussion काम का बनता है, सिर्फ ब्रांड्स की लिस्ट नहीं।

[NOVA]: छोटा वर्शन यह है। Groq एक hosted inference provider है जो LPUs और speed-first serving stack के आसपास बना है। Cerebras एक hosted inference provider है जो wafer-scale compute के आसपास बना है। LM Studio एक local desktop और developer workbench है जिसमें local serving और SDKs हैं। Ollama एक local model runner और daemon है जिसके ऊपर cloud tier चढ़ाया गया है। OpenRouter कई providers के ऊपर एक marketplace और routing API है। LiteLLM एक proxy और governance layer है। ये अलग-अलग काम हैं।

[ALLOY]: और cost-per-value मायने रखता है, इसलिए हम उन्हें उसी तरह रेट करेंगे। सिर्फ raw price नहीं, क्योंकि raw price भ्रामक है। value latency, throughput, model choice, privacy, local hardware, operational complexity, और यह इस बात पर निर्भर करती है कि आपको एक stable model चाहिए या rotating set of providers।

[NOVA]: उस गहरी जानकारी के बाद, हम OpenAI Privacy Filter को एक local PII classifier के तौर पर कवर करते हैं, और Google Cloud AI zones को उस infrastructure layer के तौर पर जहाँ accelerator locality, storage topology, और scheduling अहमियत हासिल करने लगते हैं। लेकिन पहले OpenClaw release, क्योंकि release बताता है कि इस stack को cleaner provider metadata की क्यों ज़रूरत है।

[ALLOY]: शुरू करने से पहले एक और फ्रेमिंग पॉइंट: आज technical detail खुद मकसद है। जब हम कहते हैं कि एक provider OpenAI-compatible है, यह काफी नहीं है। यह नहीं बताता कि नीचे कौन सा hardware है, scheduling कैसे काम करती है, memory कैसे चलती है, पहला token कितनी तेज़ी से आता है, bill कितना predictable है, या endpoint एक local process है, hosted accelerator है, marketplace route है, या governance proxy। इसीलिए एपिसोड real time stack पर खर्च करता है, सिर्फ feature names पढ़ने पर नहीं।

[NOVA]: सही। practical सवाल यह नहीं है कि कौन सा logo जीतता है। practical सवाल यह है कि आप किसी specific job के लिए कौन सी layer चुन रहे हैं। एक realtime voice agent की अलग ज़रूरतें होती हैं एक private document reviewer से। एक coding assistant की अलग ज़रूरतें होती हैं एक batch classifier से। एक local retrieval test की अलग ज़रूरतें होती हैं एक production multi-provider gateway से। इसलिए आज हम release mechanics को उन चॉइस से जोड़ेंगे।

[NOVA]: स्टोरी वन: OpenClaw v2026.4.26 runtime को ज़्यादा operable बनाता है। रिलीज़ बहुत बड़ी है, लेकिन इसे पढ़ने का काम का तरीका यह है कि boundaries explicit हो रही हैं। Realtime voice को cleaner transport boundaries मिलती हैं। Provider routing manifest में ज़्यादा behavior ले जाती है। Memory search को model-specific controls मिलते हैं। Plugin mutation ज़्यादा transactional बनती है। Migration tooling ज़्यादा formal बनती है। ये खुद में धाँसण नहीं हैं, लेकिन यही surfaces हैं जो तय करते हैं कि agent runtime चलाना आसान है या trust करना मुश्किल।

[ALLOY]: realtime voice से शुरू करते हैं। रिलीज़ में एक generic browser realtime transport contract जुड़ता है। यह एक technical phrase है, लेकिन यह मायने रखता है। एक browser voice session सिर्फ audio नहीं है। इसमें session setup, credentials, media transport, provider-specific protocol behavior, token lifetime, user controls, और एक UI state machine होता है। अगर हर provider का अपना hidden path है, तो product fragile बन जाता है। एक generic contract runtime को एक जगह देता है यह तय करने के लिए कि एक browser realtime provider से क्या उम्मीद है।

[NOVA]: Google Live browser Talk का काम एक अच्छा उदाहरण है। Browser sessions constrained ephemeral tokens use करते हैं। इसका मतलब है कि browser को एक token मिलता है जो narrow और short-lived है, long-lived provider secret नहीं। Runtime browser को realtime audio में शामिल होने दे सकता है बिना backend credentials को client-side code में डाले। एक agent platform के लिए, यह demo और deployable pattern के बीच का फर्क है।

[ALLOY]: गेटवे रिले पथ दूसरा आधा हिस्सा है। कुछ रियलटाइम प्रोवाइडर केवल बैकएंड से ही कॉल किए जाने चाहिए। उन्हें क्रेडेंशियल्स या प्रोटोकॉल डीटेल की जरूरत हो सकती है जो ब्राउज़र में नहीं होने चाहिए। गेटवे रिले ब्राउज़र को OpenClaw से कनेक्ट करने देता है, जबकि OpenClaw प्रोवाइडर से कनेक्ट होता है। यह ट्रस्ट बाउंड्री को सही जगह पर रखता है। ब्राउज़र को एक कंट्रोल्ड सेशन मिलता है। बैकएंड प्रोवाइडर सीक्रेट रखता है। गेटवे रिले सेशन की सीमा तय कर सकता है और रनटाइम पॉलिसी लागू कर सकता है।

[NOVA]: इसके आसपास की फिक्स लिस्ट बताने योग्य है। Google Live ब्राउज़र सेशन WebSocket ट्रांसपोर्ट पर रहते हैं, WebRTC पर अप्रत्याशित रूप से वापस जाने के बजाय। ब्राउज़र Google Live WebSocket एंडपॉइंट्स मान्य किए जाते हैं। गेटवे रिले सेशन प्रति ब्राउज़र कनेक्शन सीमित होते हैं। पुराने नेटिव ब्राउज़र वॉइस बटन जो कॉन्फ़िगर किए गए Talk या TTS प्रोवाइडर को बायपास करते थे, हटा दिए गए हैं। ये ऑपरेशनल फिक्स हैं। वे यह स्पष्ट करते हैं कि कौन सा ट्रांसपोर्ट उपयोग किया जाता है, कौन सा प्रोवाइडर सेशन का मालिक है, और एक ब्राउज़र कितने सेशन खोल सकता है।

[ALLOY]: दूसरा रिलीज सरफेस प्रोवाइडर राउटिंग है। v2026.4.26 Cerebras को एक प्रोवाइडर प्लगइन के साथ बंडल करता है जिसमें ऑनबोर्डिंग, एक स्टैटिक मॉडल कैटलॉग, डॉक्स, और मैनिफेस्ट-स्वामित्व वाला एंडपॉइंट मेटाडेटा शामिल है। अधिक व्यापक रूप से, यह मॉडल-ID नॉर्मलाइजेशन, एंडपॉइंट होस्ट मेटाडेटा, और OpenAI-संगत रिक्वेस्ट-फैमिली हिंट्स को प्लगइन मैनिफेस्ट में ले जाता है। जब तक आपके पास कई प्रोवाइडर नहीं होते, यह छोटा लगता है।

[NOVA]: प्रोवाइडर स्प्रॉल अब सामान्य है। एक सिंगल एजेंट रनटाइम OpenAI-संगत क्लाउड API, लोकल सर्वर, OpenRouter, LiteLLM, Groq, Cerebras, LM Studio, Ollama, और कस्टम गेटवे से बात कर सकता है। वे सभी OpenAI-संगत होने का नाटक कर सकते हैं, लेकिन संगतता एक स्पेक्ट्रम है। कुछ टूल्स को अलग तरीके से सपोर्ट करते हैं। कुछ अलग तरीके से स्ट्रीम करते हैं। कुछ अलग मॉडल नामों का उपयोग करते हैं। कुछ रीज़निंग कंट्रोल एक्सपोज़ करते हैं। कुह को अलग एम्बेडिंग इनपुट टाइप की जरूरत होती है। कुछ रिट्रीवल के लिए क्वेरी प्रीफिक्स चाहते हैं। कोर रनटाइम में हार्ड-कोडेड प्रोवाइडर टेबल लगभग तुरंत पुरानी हो जाती है।

[ALLOY]: प्रोवाइडर बिहेवियर को मैनिफेस्ट में ले जाना बेहतर आर्किटेक्चर है। प्रोवाइडर प्लगइन को बताना चाहिए कि वह क्या ओन करता है, वह किस होस्ट से बात करता है, वह कौन सा रिक्वेस्ट फैमिली एक्सपेक्ट करता है, वह कौन से मॉडल एक्सपोज़ करता है, और रनटाइम एक्जीक्यूशन से पहले मॉडल ID कैसे नॉर्मलाइज़ किए जाने चाहिए। तब कोर OpenClaw को प्रोवाइडर-स्पecific असम्पशन का एक विशाल बंडल की जरूरत नहीं होगी। प्रोवाइडर अपने कॉन्ट्रैक्ट को ज्यादा ओन कर सकता है।

[NOVA]: यही कारण है कि Cerebras प्रोवाइडर खुद Cerebras से परे मायने रखता है। यह प्लगइन-ओनर प्रोवाइडर सरफेस के लिए एक प्रूफ पॉइंट है। अगर कोई नया प्रोवाइडर मॉडल कैटलॉग, एंडपॉइंट मेटाडेटा, और OpenAI-संगत रिक्वेस्ट हिंट्स के साथ आता है, तो रनटाइम इसे इंटीग्रेट कर सकता है बिना यह मानने के कि हर प्रोवाइडर समान है।

[ALLOY]: मेमोरी सर्च भी ज्यादा टेक्निकल हो जाती है। OpenAI-संगत मेमोरी प्रोवाइडर एसिमेट्रिक एम्बेडिंग एंडपॉइंट्स के लिए इनपुट टाइप बिहेवियर कॉन्फ़िगर कर सकते हैं। इसका मतलब है कि एक क्वेरी और एक डॉक्यूमेंट हमेशा एक ही एम्बेडिंग पाथ से नहीं गुजरते। कुछ एम्बेडिंग मॉडल सर्च क्वेरी और कॉर्पस डॉक्यूमेंट के लिए अलग कन्वेंशन के साथ ट्रेंड किए गए हैं। अगर आप दोनों साइड्स को एक ही तरीके से एम्बेड करते हैं जब मॉडल अलग प्रीफिक्स या मोड एक्सपेक्ट करता है, तो रिट्रीवल क्वालिटी चुपचाप गिर सकती है।

[NOVA]: रिलीज में ऑप्शनल memorySearch इनपुट टाइप, क्वेरी इनपुट टाइप, और डॉक्यूमेंट इनपुट टाइप जोड़े गए हैं। यह nomic-embed-text, qwen3-embedding, और mxbai-embed-large के लिए मॉडल-स्पेसिफिक रिट्रीवल क्वेरी प्रीफिक्स भी जोड़ता है, जबकि डॉक्यूमेंट बैच अपरिवर्तित रहते हैं। यही वो तरह का डीटेल है जो असली रिट्रीवल सिस्टम में मायने रखता है। एक सर्च सिस्टम जिंदा दिख सकता है लेकिन सबटली बैड हो सकता है अगर क्वेरी एम्बेडिंग मॉडल की ट्रेनिंग कन्वेंशन से मेल नहीं खाती।

[ALLOY]: प्लगइन भी सुरक्षित होते हैं। डायरेक्ट प्लगइन कॉन्फ़िग लोड और राइट हेल्पर्स को डिप्रीकेट किया गया है, पास्ड रनटाइम स्नैपशॉट्स और ट्रांज़ैक्शनल म्यूटेशन हेल्पर्स के पक्ष में। महत्वपूर्ण आइडिया यह है कि कॉन्फ़िग म्यूटेशन कैजुअल नहीं होना चाहिए। अगर कोई प्लगइन कॉन्फ़िगरेशन बदलता है, तो रनटाइम को यह जानना चाहिए कि क्या बदला, रीस्टार्ट की जरूरत है या नहीं, कैश कैसे इन्वैलिडेट हों, और स्टेल स्टेट लिखने से कैसे बचें।

[NOVA]: इंस्टॉलेशन भी ज्यादा प्रेडिक्टेबल हो जाती है। रिलीज लेयर्ड रनटाइम-डिपेंडेंसी रूट्स और एक प्लगइन स्टेज डायरेक्टरी सपोर्ट करती है। इसका मतलब है कि एक प्लगइन पहले रीड-ओनली प्रीइंस्टॉल्ड डिपेंडेंसीज़ रिज़ॉल्व कर सकता है और मिसिंग डिपेंडेंसीज़ को एक राइटेबल फाइनल रूट में इंस्टॉल कर सकता है। यह इंस्टॉल स्कैन के दौरान टेस्ट फाइल्स को स्किप भी करता है जबकि अभी भी रनटाइम एंट्रीपॉइंट्स स्कैन करता है, सिमलिंक्ड प्लगइन डायरेक्टरीज़ को सुरक्षित रूप से फॉलो करता है, और एक्टिव प्रोफाइल स्टेट डायरेक्टरी से प्लगइन इंस्टॉल डेस्टिनेशन रिज़ॉल्व करता है।

[ALLOY]: ये विवरण सौंदर्य संबंधी नहीं हैं। प्लगइन सिस्टम उबाऊ तरीकों से फेल होते हैं: गलत प्रोफाइल, डुप्लिकेटेड डिपेंडेंसी ट्री, सिमलिंक कन्फ्यूजन, टेस्ट मॉक्स को रनटाइम फाइल्स की तरह ट्रीट करना, ग्लोबल पैकेज पाथ्स जो ऐप के नीचे बदलते हैं, और स्टार्टअप वार्निंग्स जो दोहराती हैं भले ही ओवरराइड जानबूझकर किया गया हो। यह रिलीज़ लोकल प्लगइन्स, बंडल्ड प्रोवाइडर्स, मार्केटप्लेस प्लगइन्स, और प्रोफाइल-स्पेसिफिक इंस्टॉल्स को एक साथ रहने देने की कोशिश कर रही है बिना स्टार्टअप को हर बार ऑडिट में बदले।

[NOVA]: सिक्योरिटी और कंट्रोल सरफेस भी हिलते हैं। Matrix को एक एन्क्रिप्शन सेटअप फ्लो मिलता है जो एन्क्रिप्शन इनेबल कर सकता है, रिकवरी बूटस्ट्रैप कर सकता है, और वेरिफिकेशन स्टेटस प्रिंट कर सकता है। डिवाइस टोकन रोटेशन रोटेटेड बियरर टोकन्स को शेयर्ड या एडमिन रिस्पॉन्सेस से इको करना बंद कर देता है जबकि टोकन-ओनली क्लाइंट्स के लिए सेम-डिवाइस हैंडऑफ को प्रेज़र्व करता है। सबएजेंट्स एलोवड-एजेंट लिस्ट इन्फोर्स करते हैं भले ही एक्सप्लिसिट सेम-एजेंट स्पॉन ओवरराइड्स के लिए। कंट्रोल UI को एक रॉ कॉन्फिग पेंडिंग-चेंजेस डिफ पैनल मिलता है जो JSON5 पार्स करता है और सेंसिटिव वैल्यूज़ को रिवील तक रिडैक्ट करता है।

[ALLOY]: ट्रांसक्रिप्ट और माइग्रेशन टूलिंग भी ध्यान देने योग्य हैं। एजेंट्स एक कम्पैक्शन ट्रिगर में ऑप्ट-इन कर सकते हैं जो एक्टिव ट्रांसक्रिप्ट साइज़ पर बेस्ड हो। बाइट्स के हिसाब से रॉ हिस्ट्री को अंधेरे में स्प्लिट करने के बजाय, रनटाइम नॉर्मल लोकल कम्पैक्शन चला सकता है और फ्यूचर टर्न्स को एक छोटी सक्सेसर फाइल पर रोटेट कर सकता है। यह सेमैंटिक कम्पैक्शन को लूप में रखता है। यह एक आर्बिट्ररी बाइट बाउंड्री पर बातचीत को काटने से सुरक्षित है।

[NOVA]: CLI माइग्रेशन वर्क भी फैलता है। एक बंडल्ड Claude इम्पोर्टर है और एक ब्रॉडर माइग्रेट कमांड है जिसमें प्लानिंग, ड्राई-रन, JSON आउटपुट, बैकअप, ऑनबोर्डिंग डिटेक्शन, आर्काइव-ओनली रिपोर्ट्स, और Hermes इम्पोर्टर शामिल हैं जो कॉन्फिगरेशन, मेमोरी और प्लगइन हिंट्स, प्रोवाइडर्स, MCP सर्वर्स, स्किल्स, और क्रेडेंशियल्स के लिए है। यह बताता है कि OpenClaw माइग्रेशन को एक फर्स्ट-क्लास ऑपरेटर वर्कफ्लो के रूप में ट्रीट कर रहा है, एक वन-ऑफ स्क्रिप्ट नहीं।

[ALLOY]: लिसनर का इस रिलीज़ से takeaway कंक्रीट है। OpenClaw एजेंट एक्ज़ीक्यूशन के आसपास कंट्रोल प्लेन बना रहा है: रियलटाइम ट्रांसपोर्ट बाउंड्रीज़, प्रोवाइडर मैनिफेस्ट्स, रिट्रीवल कन्वेंशन्स, प्लगइन म्यूटेशन, डिपेंडेंसी रूट्स, एन्क्रिप्शन सेटअप, ट्रांसक्रिप्ट प्रेशर, और माइग्रेशन पाथ्स। ये वही सरफेस हैं जो तब दिखते हैं जब आप Groq, Cerebras, LM Studio, Ollama, OpenRouter, और LiteLLM की तुलना करते हैं। तो अब चलो उस तुलना को ठीक से करें।

[NOVA]: प्लेटफॉर्म्स को रेट करने से पहले, हमें वोकैबुलरी चाहिए। एक मॉडल न्यूरल नेटवर्क आर्किटेक्चर और वेट्स है: Llama, Qwen, DeepSeek, Gemma, GPT-OSS, Mistral, और इत्यादि। एक रनटाइम वह सॉफ्टवेयर और हार्डवेयर पाथ है जो उन वेट्स को टोकन्स में बदलता है। एक प्रोवाइडर वह एंडपॉइंट है जिसे आप कॉल करते हैं। एक राउटर एंडपॉइंट्स के बीच चुनता है। एक गेटवे एक्सेस, कीज़, बजट्स, और पॉलिसी को नॉर्मलाइज़ करता है। अगर आप उन लेयर्स को एक साथ क्रैश करते हैं, तो तुलना बकवास हो जाती है।

[ALLOY]: बिल्कुल। LM Studio और Groq दोनों आपको एक OpenAI-कम्पैटिबल एंडपॉइंट दे सकते हैं, लेकिन वे एक ही कैटेगरी में नहीं हैं। Groq कस्टम हार्डवेयर पर होस्टेड इन्फरेन्स बेच रहा है। LM Studio आपको एक लोकल वर्कबेंच और सर्वर दे रहा है जो आपके खुद के हार्डवेयर पर चलता है। OpenRouter हो सकता है किसी Groq-बैक्ड मॉडल को रिक्वेस्ट रूट करे, लेकिन OpenRouter हार्डवेयर नहीं है। LiteLLM OpenRouter, Groq, Cerebras, Ollama, या एक लोकल एंडपॉइंट पर ट्रैफिक भेज सकता है, लेकिन LiteLLM मॉडल रनटाइम नहीं है।

[NOVA]: Groq से शुरू करते हैं। Groq की टेक्निकल स्टोरी LPU है, या Language Processing Unit। पिच यह नहीं है कि यह एक और एक्सेलेरेटर है। यह है कि लैंग्वेज इन्फरेन्स पूर्वानुमेय होने के लिए पर्याप्त है कि इसे टोकन जेनरेशन के लिए बनाए गए हार्डवेयर और कम्पाइलर शेड्यूलिंग के हकदार होना चाहिए। GPU सर्विंग में, बहुत सारा परफॉर्मेंस वर्क कर्नेल्स, बैचिंग, मेमोरी मूवमेंट, अटेंशन इम्प्लीमेंटेशन्स, KV-cache हैंडलिंग, और यूटिलाइज़ेशन को हाई रखने के बारे में है बिना लेटेंसी को बर्बाद किए। Groq रनटाइम अम्बिग्यूटी को कम करने की कोशिश करता है अपने हार्डवेयर के लिए मॉडल एक्ज़ीक्यूशन को कम्पाइल करके और शेड्यूलिंग को ज़्यादा डिटर्मिनिस्टिक बनाकर।

[ALLOY]: इसीलिए Groq लेटेंसी-सेंसिटिव एप्लीकेशन्स में अलग लगता है। अगर आप रियलटाइम वॉइस, लाइव चैट, ऑटोकम्प्लीट, रूटिंग क्लासिफायर, गार्डरेल पासेस, या कोडिंग असिस्टेंट्स बना रहे हैं, तो एक फास्ट फर्स्ट टोकन और एक स्लो फर्स्ट टोकन के बीच का अंतर प्रोडक्ट-विजिबल है। यह सिर्फ बेंचमार्क वैनिटी नहीं है। यह बदलता है कि इंटरैक्शन लाइव लगता है या नहीं।

[NOVA]: डेवलपर्स आमतौर पर GroqCloud को एक OpenAI-कम्पैटिबल होस्टेड API के रूप में एक सपोर्टेड मॉडल कैटलॉग के ऊपर अनुभव करते हैं। वह कम्पैटिबिलिटी उपयोगी है क्योंकि फ्रेमवर्क्स बिना ऐप को राइटिंग किए उस पर पॉइंट कर सकते हैं। लेकिन Groq चुनने का कारण जेनेरिक कम्पैटिबिलिटी नहीं है। कारण स्पीड प्रोफाइल है। अगर सपोर्टेड मॉडल टास्क के लिए पर्याप्त अच्छा है, तो वैल्यू हाई है।

[ALLOY]: वही डिज़ाइन इसी तरह की सीमाएं देता है। आप Groq इसलिए नहीं चुनते क्योंकि आप अपने बॉक्स पर arbitrary private weights चाहते हैं। आप इसे इसलिए नहीं चुनते क्योंकि आप हर proprietary model family को एक ही account में रखना चाहते हैं। आप इसे तब चुनते हैं जब कोई supported model और low-latency hosted path आपके प्रोडक्ट के अनुकूल हो।

[NOVA]: GroqCloud के लिए cost-per-value rating: 5 में से 4.5। इस एपिसोड के लिए जाँची गई public pricing में उदाहरण शामिल थे जैसे GPT-OSS 20B जो प्रति मिलियन input tokens के लिए साढ़े सात सेंट और प्रति मिलियन output tokens के लिए तीस सेंट के आसपास, और GPT-OSS 120B जो लगभग पंद्रह सेंट input और साठ सेंट output के लिए। इसे high tokens-per-second के साथ जोड़ें और Groq जब latency मायने रखती है तो बेहतरीन value देता है। मैं इसे पूरा 5 नहीं देता क्योंकि catalog fit मायने रखता है। अगर आपके workload को ऐसा model चाहिए जो Groq serve नहीं करता, तो value जल्दी गिर जाती है।

[ALLOY]: अगला है Cerebras। Cerebras भी एक custom-hardware inference कहानी है, लेकिन hardware thesis अलग है। Cerebras wafer-scale compute के लिए जाना जाता है। Wafer को कई छोटे chips में काटने के बजाय, यह एक विशाल compute fabric के साथ wafer-scale engine बनाता है। Inference का वादा है कि एक substrate पर बहुत बड़ा compute और memory bandwidth distributed accelerator serving में दिखने वाले कुछ communication pain को कम कर सकता है।

[NOVA]: पारंपरिक large-model serving में, आप parallelism और communication पर बहुत मेहनत करते हैं: tensor parallelism, pipeline parallelism, KV-cache memory, interconnect limits, batching policy, और devices को busy रखना। Cerebras hardware और software दोनों तरफ से इस पर हमला करता है एक बहुत बड़ा compute surface एक serving stack के नीचे रखकर जो इसके लिए डिज़ाइन किया गया है।

[ALLOY]: डेवलपर्स के लिए, surface अभी भी एक API है। Cerebras Inference hosted supported models expose करता है, और यह partner paths के माध्यम से भी दिखाई देता है। OpenClaw का v2026.4.26 में एक Cerebras provider को bundle करना मायने रखता है क्योंकि इसका मतलब है कि इसे एक first-class provider surface के रूप में माना जाता है, किसी weird one-off के रूप में नहीं।

[NOVA]: Cerebras high-throughput supported-model inference, coding workflows, और उन मामलों के लिए आकर्षक है जहां speed मायने रखती है लेकिन team अपना accelerator cluster नहीं चलाना चाहती। Public pricing pages जो इस एपिसोड के लिए जाँची गईं, उन्होंने Free, Developer, और Enterprise API access दिखाई, साथ ही Cerebras Code subscriptions: Pro पचास डॉलर प्रति महीना और Max दो सौ डॉलर प्रति महीना, हालांकि checkout time पर वे subscriptions sold out के रूप में सूचीबद्ध थे। Token prices model के अनुसार बदलती हैं।

[ALLOY]: Cerebras Inference के लिए cost-per-value rating: 5 में से 4.0। Performance कहानी मजबूत है। Value भारी supported-model workloads के लिए बेहतरीन हो सकती है। Caveats availability, ecosystem maturity, और model fit हैं। यह हर inference problem का सबसे सामान्य जवाब नहीं है, लेकिन जब यह fit करता है, तो यह एक serious option है।

[NOVA]: LM Studio एक अलग category है। LM Studio local-first है। यह एक desktop app, model discovery surface, local chat environment, developer server, command-line tool, SDK layer, OpenAI-compatible endpoint, और LM Link के माध्यम से remote-instance tool है। आप मुख्य रूप से remote tokens नहीं खरीद रहे हैं। आप अपने hardware पर models स्थानीय रूप से और निजी तौर पर चला रहे हैं।

[ALLOY]: अनुभव के पीछे technical stack model management और local execution के बारे में है। आप एक model चुनते हैं, अक्सर एक quantized model। App इसे आपकी machine पर उपलब्ध resources में load करता है। Apple Silicon पर, MLX support मायने रख सकता है। GPU workstation पर, VRAM और quantization format मायने रखते हैं। CPU-only machines पर, आप छोटे models चला सकते हैं, लेकिन latency बदलती है कि setup किसके लिए अच्छी है।

[NOVA]: OpenAI-compatible server बड़ा integration point है। यह एक app को एक local endpoint पर point करने और local model को normal chat API की तरह treat करने देता है। यह private drafts, offline work, retrieval experiments, local agents, data-sensitive analysis, और cheap background tasks के लिए उपयोगी है। यह education के लिए भी उपयोगी है, क्योंकि आप model size, quantization, speed, और quality के बीच tradeoff को सीधे देख सकते हैं।

[ALLOY]: LM Studio उन लोगों के लिए खासतौर पर अच्छा है जो एक वर्कबेंच चाहते हैं, सिर्फ एक डेमॉन नहीं। यह मॉडल खोजने और चलाने के लिए एक ज्यादा विज़ुअल अनुभव देता है। यह उन यूज़र्स के लिए मायने रखता है जो मॉडल्स की परवाह करने के लिए तकनीकी रूप से सक्षम हैं, लेकिन टर्मिनल से हर रनटाइम पैरामीटर को हैंड-मैनेज करने में रुचि नहीं रखते।

[NOVA]: LM Studio के लिए कॉस्ट-पर-वैल्यू रेटिंग: 5 में से 4.0। साइट कहती है कि LM Studio पर्सनल और वर्क यूज़ के लिए फ्री है। मुझे Groq या Cerebras जैसा कोई नॉर्मल पेड क्लाउड टोकन टियर नहीं मिला। छिपी हुई लागत आपका हार्डवेयर है। अगर आपके पास पहले से एक काबिल मशीन है, तो वैल्यू बढ़िया है। अगर आप बड़े मॉडल चलाने के लिए सिर्फ एक हाई-मेमोरी वर्कस्टेशन खरीदते हैं, तो उस लागत को गिनना होगा। लोकल का मतलब यह भी है कि आप ऑपरेशनल डीटेल्स के मालिक हैं: स्टोरेज, अपडेट, मॉडल सिलेक्शन, थर्मल, पावर, स्पीड, और क्वालिटी ट्रेडऑफ़।

[ALLOY]: Ollama भी लोकल-फर्स्ट है, लेकिन इसका प्रोडक्ट शेप अलग है। Ollama एक लोकल मॉडल रनर और डेमॉन जैसा लगता है जिस पर दूसरे टूल्स निर्भर करते हैं। इसमें एक CLI, लोकल API, मॉडल लाइब्रेरी, डेस्कटॉप ऐप्स, और एक बड़ा इंटीग्रेशन इकोसिस्टम है। वर्कफ्लो सिंपल है: मॉडल पुल करें, चलाएं, टूल्स से कॉल करें। वही सिम्पलिसिटी प्रोडक्ट है।

[NOVA]: Ollama का Modelfile कॉन्सेप्ट ज़रूरी है क्योंकि इससे मॉडल पैकेजिंग ज्यादा रिपीटेबल लगती है। एक लोकल मॉडल सिर्फ वेट्स नहीं है। इसमें एक बेस मॉडल, टेम्पलेट बिहेवियर, पैरामीटर्स, सिस्टम प्रॉम्प्ट डिफॉल्ट्स, और नेमिंग कन्वेंशन शामिल हो सकते हैं। एजेंट्स और स्क्रिप्ट्स के लिए, एक स्टेबल लोकल नेम मायने रखता है। आप नहीं चाहते कि हर प्रोजेक्ट यह फिर से खोजे कि मॉडल कैसे ढूंढना है।

[ALLOY]: दूसरा अहम डेवलपमेंट क्लाउड एक्सेस है। Ollama के प्राइसिंग पेज पर एक फ्री टियर, Pro बीस डॉलर प्रति महीने, और Max सौ डॉलर प्रति महीने दिखता है। लोकल हार्डवेयर यूज़ अनलिमिटेड रहता है। क्लाउड यूज़ को इन्फ्रास्ट्रक्चर यूटिलाइज़ेशन के तौर पर बताया गया है, मुख्य रूप से GPU टाइम, सिम्पल फिक्स्ड टोकन कैप नहीं। यह पर-मिलियन-टोकन प्राइसिंग से अलग है।

[NOVA]: इससे Ollama की मिक्स्ड कॉस्ट स्टोरी बनती है। लोकल डेवलपमेंट के लिए, यह इकोसिस्टम की बेस्ट वैल्यू में से एक है। क्लाउड यूज़ के लिए, सब्सक्रिप्शन मॉडल इंसानों के लिए समझना आसान है, लेकिन स्ट्रिक्ट पर-रिक्वेस्ट अकाउंटिंग के लिए मुश्किल है। टोकन-प्राइस्ड प्रोवाइडर जब आपको इनपुट और आउटपुट टोकन वॉल्यूम पता होते हैं तो वर्कलोड फोरकास्ट करना आसान बनाते हैं। यूटिलाइज़ेशन-बेस्ड सब्सक्रिप्शन प्लान्स डे-टू-डे यूज़ के लिए ज्यादा कम्फर्टेबल हो सकते हैं, लेकिन कॉस्ट मॉडलिंग के लिए कम प्रीसाइज़।

[ALLOY]: Ollama के लिए कॉस्ट-पर-वैल्यू रेटिंग: 5 में से 4.2। डेवलपर्स के लिए अकेला लोकल Ollama और भी हाई रेट कर सकता है क्योंकि फ्रिक्शन बहुत कम है। कंबाइंड लोकल-प्लस-क्लाउड रेटिंग थोड़ी कम है क्योंकि क्लाउड यूज़ कम टोकन-एक्सप्लिसिट है। फिर भी, अगर मैं किसी डेवलपर को बताऊं कि लोकल मॉडल्स से कहाँ शुरू करना है, Ollama पहले जवाबों में से एक होगा।

[NOVA]: अगला OpenRouter है, और इसे गलत कैटेगराइज़ न करना ज़रूरी है। OpenRouter मुख्य रूप से एक मॉडल रनटाइम नहीं है। यह कई मॉडल्स और प्रोवाइडर्स पर एक मार्केटप्लेस और राउटिंग API है। वैल्यू ऑप्शनलिटी में है: एक अकाउंट, एक इंटीग्रेशन सरफेस, कई मॉडल चॉइस, टेस्टिंग के लिए फ्री मॉडल्स, प्रोडक्शन के लिए पेड मॉडल्स, और ऑप्शन्स को जल्दी से कम्पेयर करने की क्षमता।

[ALLOY]: यह इसलिए वैल्यूबल है क्योंकि मॉडल रैंकिंग तेज़ी से बदलती हैं। एक मॉडल जो इस महीने कोडिंग के लिए बेस्ट है वह सुमराइज़ेशन के लिए बेस्ट नहीं हो सकता। एक सस्ता मॉडल क्लासिफिकेशन के लिए काफी अच्छा हो सकता है। एक बड़ा मॉडल सिर्फ नैरो प्लानिंग स्टेप के लिए ज़रूरी हो सकता है। एक राउटर आपको एक्सपेरिमेंट करने और बिना हर बार अपना ऐप्लिकेशन रीराइट किए बदलने देता है।

[NOVA]: OpenRouter लॉक-इन को भी कम करता है। अगर एक प्रोवाइडर डाउन है, स्लो है, महंगा है, या टास्क के लिए अब बेस्ट नहीं है, तो एक राउटिंग लेयर ट्रैफिक शिफ्ट करने में मदद कर सकता है। इसका मतलब यह नहीं कि यह हमेशा सबसे सस्ता है। अगर आपको पता है कि आपको बिल्कुल कौन सा मॉडल हाई वॉल्यूम में चाहिए, तो डायरेक्ट प्रोवाइडर प्राइसिंग या एंटरप्राइज टर्म्स मार्केटप्लेस रूट को हरा सकते हैं। लेकिन इंजीनियरिंग टाइम भी एक कॉस्ट है।

[ALLOY]: OpenRouter के लिए लागत-प्रति-मूल्य रेटिंग: 5 में से 4.0। यह प्रयोग, फॉलबैक, मल्टी-मॉडल प्रोडक्ट्स, और उन टीमों के लिए उच्च मूल्य है जो प्रोवाइडर लॉक-इन से बचना चाहती हैं। यह कम मूल्य का है अगर संगठन के पास एक स्थिर मॉडल, एक स्थिर प्रोवाइडर है, और प्रत्यक्ष शर्तों को ऑप्टिमाइज़ करने के लिए पर्याप्त स्केल है।

[NOVA]: LiteLLM फिर से एक और लेयर है। LiteLLM एक सेल्फ-होस्टेबल प्रॉक्सी और कंट्रोल प्लेन है। आप इसे अपने एप्लिकेशन और प्रोवाइडर्स के बीच रखते हैं। यह कीज, बजट, लॉग, रेट लिमिट, एलियास, रूटिंग, रिट्राई, और फॉलबैक पॉलिसी को केंद्रीकृत कर सकता है। यह आपको कोई मॉडल नहीं बेच रहा। यह आपको मॉडल एक्सेस ऑपरेट करने में मदद कर रहा है।

[ALLOY]: यह तब महत्वपूर्ण हो जाता है जब किसी संगठन के पास कई एप्लिकेशन और कई प्रोवाइडर होते हैं। गेटवे के बिना, हर ऐप प्रोवाइडर-विशिष्ट व्यवहार सीखता है। हर ऐप कीज़ हैंडल करता है। हर ऐप रिट्राई पॉलिसी बनाता है। हर ऐप अलग तरह से लॉग करता है। हर ऐप लागत को अलग तरह से ट्रैक करता है। इसी तरह मॉडल एक्सेस अव्यवस्थित हो जाता है।

[NOVA]: गेटवे के साथ, आप आंतरिक मॉडल नाम, बजट, यूज़र या टीम लिमिट, फॉलबैक, और ऑब्ज़र्वेबिलिटी एक जगह परिभाषित कर सकते हैं। ट्रेडऑफ़ यह है कि अब आप गेटवे ऑपरेट करते हैं। आपको इन्फ्रास्ट्रक्चर, स्टोरेज, सिक्योरिटी रिव्यू, अपग्रेड डिसिप्लिन, और यह स्पष्ट समझ चाहिए कि गेटवे क्या नॉर्मलाइज़ करता है और क्या नहीं कर सकता।

[ALLOY]: LiteLLM के लिए लागत-प्रति-मूल्य रेटिंग: सामान्य यूज़र्स के लिए 5 में से 3.7, और परिपक्व टीमों के लिए अधिक। एक डेवलपर के लिए, यह अतिरिक्त मशीनरी हो सकती है। OpenAI, Anthropic, Groq, Cerebras, OpenRouter, Ollama, और लोकल एंडपॉइंट चलाने वाली टीम के लिए, यह अत्यंत मूल्यवान हो सकता है।

[NOVA]: अब आइए विकल्पों को एक साथ रखते हैं। Groq तब चुनें जब लेटेंसी प्रोडक्ट फीचर है और समर्थित मॉडल कैटलॉग फिट बैठता है: रियलटाइम वॉइस, फास्ट चैट, क्लासिफिकेशन, गार्डरेल, कोडिंग लूप, और इंटरैक्टिव प्रोडक्ट्स। Cerebras तब चुनें जब आप समर्थित मॉडलों पर बहुत उच्च थ्रूपुट चाहते हैं और आप एक विशेषज्ञ उच्च-प्रदर्शन प्रोवाइडर के साथ सहज हैं। LM Studio तब चुनें जब आप लोकल वर्कबेंच और फ्रेंडली इंटरफेस वाला लोकल सर्वर चाहते हैं।

[ALLOY]: Ollama तब चुनें जब आप सबसे सरल लोकल मॉडल रनर और इंटीग्रेशन टारगेट चाहते हैं। OpenRouter तब चुनें जब आप मॉडल ऑप्शनैलिटी और रूटिंग चाहते हैं बिना अपना मार्केटप्लेस इंटीग्रेशन बनाए। LiteLLM तब चुनें जब आपको प्रोवाइडर्स में गवर्नेंस, केंद्रीकृत कीज, बजट, एलियास, फॉलबैक, और लॉग चाहिए। सीधे होस्टेड API या कस्टम लोकल एंडपॉइंट तब चुनें जब आप एक ज्ञात बाधा के लिए कठोर ऑप्टिमाइज़ कर रहे हों।

[NOVA]: रेटिंग सारांश यह है। GroqCloud: जब कैटलॉग फिट बैठता है तो स्पीड-प्रति-डॉलर के लिए 5 में से 4.5। Cerebras Inference: थ्रूपुट और समर्थित-मॉडल प्रदर्शन के लिए 5 में से 4.0। LM Studio: अगर आपके पास हार्डवेयर पहले से है तो लोकल वैल्यू के लिए 5 में से 4.0। Ollama: लोकल डेवलपर एर्गोनॉमिक्स प्लस उपयोगी क्लाउड एक्सेस के लिए 5 में से 4.2। OpenRouter: ऑप्शनैलिटी और प्रयोग के लिए 5 में से 4.0। LiteLLM: सामान्य यूज़र्स के लिए 5 में से 3.7, लेकिन गंभीर टीमों के लिए गवर्नेंस लेयर के रूप में संभावित रूप से अधिक।

[ALLOY]: गहरा तकनीकी बिंदु यह है कि भविष्य एक प्रोवाइडर नहीं है। यह एक स्टैक है। लोकल मॉडल प्राइवेसी और सस्ता इटरेशन हैंडल करते हैं। कस्टम-हार्डवेयर प्रोवाइडर्स स्पीड हैंडल करते हैं। मार्केटप्लेस चॉइस हैंडल करते हैं। गेटवे गवर्नेंस हैंडल करते हैं। एजेंट रनटाइम को प्रोवाइडर मेटाडेटा चाहिए जो उन अंतरों को समझता है। इसीलिए OpenClaw का मेनिफेस्ट-ओंड प्रोवाइडर रूटिंग सिर्फ कोड क्लीनअप नहीं है। यह उस दुनिया के लिए सही अब्स्ट्रैक्शन है जिसमें हम वास्तव में प्रवेश कर रहे हैं।

[NOVA]: यहां बेंचमार्किंग ट्रैप भी है। लोग अक्सर एक नंबर से प्लेटफॉर्म की तुलना करते हैं: सेकंड में टोकन, प्रति मिलियन टोकन की कीमत, या उपलब्ध सबसे बड़े मॉडल का आकार। हर नंबर मायने रखता है, लेकिन कोई भी पर्याप्त नहीं है। सेकंड में टोकन तब कम उपयोगी है अगर पहला टोकन धीमा है या मॉडल क्वालिटी टास्क को मिस करती है। सस्ते आउटपुट टोकन तब कम उपयोगी हैं अगर मॉडल बकवाद करता है और दोगुना टेक्स्ट जेनरेट करता है। विशाल लोकल मॉडल तब कम उपयोगी है अगर इसके जवाब देने में इतना समय लगता है कि प्रोडक्ट लूप टूट जाता है। मार्केटप्लेस तब कम उपयोगी है अगर पॉलिसी के लिए सीधे वेंडर कॉन्ट्रैक्ट चाहिए। गेटवे तब कम उपयोगी है अगर टीम इसे ऑपरेट करने के लिए तैयार नहीं है।

[ALLOY]: इसलिए लागत-प्रति-मूल्य स्कोर संपादकीय है, सार्वभौमिक कानून नहीं। Groq का स्कोर उच्च है क्योंकि गति के साथ-साथ कम टोकन मूल्य निर्धारण असाधारण रूप से मजबूत होता है जब कैटलॉग फिट हो। Cerebras का स्कोर उच्च है क्योंकि वेफर-स्केल इन्फरेंस समर्थित वर्कलोड के लिए शक्तिशाली हो सकता है, लेकिन उपलब्धता और फिट मायने रखती है। LM Studio और Ollama का स्कोर उच्च है क्योंकि स्थानीय सॉफ्टवेयर प्रयोग, गोपनीयता, और डेवलपर नियंत्रण के लिए लगभग अजेय हो सकता है अगर हार्डवेयर पहले से वहाँ है। OpenRouter का स्कोर उच्च है क्योंकि यह इंटीग्रेशन का समय बचाता है और विकल्प देता है। LiteLLM एक सोलो यूजर के लिए कम और एक असली टीम के लिए ज्यादा स्कोर करता है क्योंकि इसका मूल्य गवर्नेंस से आता है।

[NOVA]: अंतिम आर्किटेक्चर पैटर्न हाइब्रिड है। एक गंभीर एजेंट प्रोडक्ट स्थानीय टेस्टिंग के लिए Ollama या LM Studio, कम-लेटेंसी क्लासिफायर के लिए Groq, हाई-थ्रूपुट कोडिंग या जेनरेशन पाथ के लिए Cerebras, इवैल्यूएशन और फॉलबैक के लिए OpenRouter, इंटरनल पॉलिसी के लिए LiteLLM, और टेक्स्ट के ट्रस्ट बाउंडरी से बाहर जाने से पहले एक प्राइवेसी फिल्टर का उपयोग कर सकता है। यह तब तक अव्यवस्थित नहीं है अगर रनटाइम प्रदाताओं को स्पष्ट मेटाडेटा वाली घोषित क्षमताओं के रूप में मानता है। यह तब अव्यवस्थित है जब हर एंडपॉइंट को एक अलग बेस URL वाली एक ही चीज के रूप में माना जाता है।

[NOVA]: तीसरी कहानी: OpenAI Privacy Filter PII रिडक्शन को एक स्थानीय मॉडल पास में बदल देता है। महत्वपूर्ण बात यह है कि Privacy Filter एक चैटबॉट नहीं है जिससे टेक्स्ट रिडक्ट करने के लिए कहा जा रहा है। यह एक द्विदिशात्मक टोकन-वर्गीकरण मॉडल है जिसे व्यक्तिगत रूप से पहचान योग्य जानकारी का पता लगाने और मास्क करने के लिए डिज़ाइन किया गया है।

[ALLOY]: यह अंतर मायने रखता है। एक चैटबॉट एक रिस्पॉन्स जेनरेट करता है। एक टोकन क्लासिफायर इनपुट को लेबल करता है। प्रत्येक टोकन या स्पैन के लिए, यह प्रेडिक्ट करता है कि टेक्स्ट निजी व्यक्ति, निजी पता, निजी ईमेल, निजी फोन, निजी URL, निजी तारीख, खाता नंबर, या सीक्रेट जैसी कैटेगरी से संबंधित है या नहीं। फिर एक डिकोडिंग स्टेप स्थिर स्पैन प्रोड्यूस कर सकता है जिसे मास्क किया जा सकता है।

[NOVA]: मॉडल कार्ड 1.5 बिलियन पैरामीटर मॉडल का वर्णन करता है 50 मिलियन एक्टिव पैरामीटर के साथ, 128,000-टोकन कॉन्टेक्स्ट, सुपरवाइज़्ड पोस्ट-ट्रेनिंग, कंस्ट्रेंड Viterbi स्पैन डिकोडिंग, और Transformers, Transformers.js, ONNX, और Safetensors जैसे फॉर्मैट्स के माध्यम से उपलब्धता। लंबा कॉन्टेक्स्ट मायने रखता है क्योंकि प्राइवेसी फिल्टरिंग अक्सर डॉक्यूमेंट्स, एक्सपोर्टेड चैट्स, सपोर्ट टिकट्स, लॉग्स, और ट्रांसक्रिप्ट्स पर रन करनी पड़ती है। अगर आप टेक्स्ट को बुरी तरह से चंक करते हैं, तो ऑफसेट ड्रिफ्ट हो जाते हैं और रिव्यूअर्स हाइलाइट्स पर ट्रस्ट खो देते हैं।

[ALLOY]: ऑपरेशनल पैटर्न सीधा है। एक प्रॉम्प्ट किसी ट्रस्टेड एनवायरनमेंट को छोड़ने से पहले, एक लोकल प्राइवेसी फिल्टर रन करें। एक मेमोरी रिकॉर्ड को इंडेक्स करने से पहले, फिल्टर रन करें। सपोर्ट लॉग्स एक्सपोर्ट करने से पहले, फिल्टर रन करें। एक डॉक्यूमेंट को होस्टेड मॉडल के साथ शेयर करने से पहले, फिल्टर रन करें। प्रोडक्ट एक रिडक्टेड वर्जन स्टोर कर सकता है, एक प्राइवेट रिवील पथ रख सकता है, या एक ह्यूमन रिव्यूअर को कैटेगरी-स्पेसिफिक हाइलाइट्स दिखा सकता है।

[NOVA]: यह लोकल इन्फरेंस से भी वापस जुड़ता है। प्राइवेसी फिल्टर्स एक बेहतरीन लोकल-मॉडल यूज़ केस हैं क्योंकि वैल्यू क्रिएटिव राइटिंग क्वालिटी में नहीं है। वैल्यू डेटा पाथ में एक स्पेसिफिक क्लासिफायर को रखने में है जिसमें प्रेडिक्टेबल आउटपुट्स, थ्रेशोल्ड्स, कैटेगरीज़, इवैल्यूएशन सेट्स, और रिव्यू पॉलिसी हों। यहीं वह जगह है जहाँ लोकल एक्जीक्यूशन रिस्क कम कर सकता है।

[ALLOY]: लेकिन यह मैजिक एनॉनिमिटी नहीं है। फॉल्स नेगेटिव्स संवेदनशील इन्फॉर्मेशन लीक कर सकते हैं। फॉल्स पॉजिटिव्स ऑडिटिंग या डाउनस्ट्रीम डिसीज़न्स के लिए जरूरी कॉन्टेक्स्ट हटा सकते हैं। स्टैटिक लेबल कैटेगरीज़ कंपनी की पॉलिसी से मैच नहीं कर सकती हैं। मेडिकल, लीगल, फाइनेंशियल, ह्यूमन रिसोर्सेज़, एजुकेशन, या गवर्नमेंट सेटिंग्स में हाई-सेंसिटिविटी वर्कफ़्लोज़ को इवैल्यूएशन की जरूरत है और शायद ह्यूमन रिव्यू की।

[NOVA]: बिल्डर टेकअवे यह है कि प्राइवेसी फिल्टरिंग को एक कंट्रोलेबल लेयर के रूप में मानें। थ्रेशोल्ड्स चुनें। फॉल्स पॉजिटिव्स और फॉल्स नेगेटिव्स को मेज़र करें। ऑडिट पथ्स रखें। तय करें कि कौन सी कैटेगरीज़ डिफ़ॉल्ट पर मास्क हैं। तय करें कि ह्यूमन कब रिवील कर सकता है। और यह डेटा रिट्रीवल, प्रॉम्प्ट असेंबली, लॉग्स, एक्सपोर्ट्स, या थर्ड-पार्टी प्रोवाइडर्स में एंटर करने से पहले करें।

[NOVA]: चौथी कहानी: Google Cloud AI ज़ोन एक्सेलेरेटर लोकलिटी को एक फर्स्ट-क्लास डिप्लॉयमेंट कंस्ट्रेंट बनाते हैं। यह इन्फ्रास्ट्रक्चर है, लेकिन यह हमारे द्वारा अभी चर्चा की गई हर चीज के लिए मायने रखता है। होस्टेड इन्फरेंस हवा में तैरता नहीं है। यह एक्सेलेरेटर कैपेसिटी, स्टोरेज टोपोलॉजी, नेटवर्किंग, शेड्यूलिंग, कोटा, और प्लेसमेंट पर बैठता है।

[ALLOY]: Google's AI zones मशीन लर्निंग वर्कलोड के लिए बने खास ज़ोन हैं, जिनमें भारी GPU और TPU क्षमता होती है। इन्हें स्टैंडर्ड पैरेंट ज़ोन से जोड़ा जा सकता है, और ये उसी रीजन के अंदर स्टैंडर्ड नॉन-AI ज़ोन से अलग भौगोलिक रूप से दूर हो सकते हैं। तब तक एक्सेस प्रतिबंधित रह सकता है जब तक किसी प्रोजेक्ट को इनके लिए इनेबल नहीं किया जाता।

[NOVA]: आर्किटेक्चरल नतीजा यह है कि रीजन अब एकमात्र सवाल नहीं रहा। एक ऑपरेटर को पूछना होगा कि किस एक्सेलेरेटर ज़ोन में क्षमता है, यह किस पैरेंट ज़ोन से संबंधित है, डेटा कहाँ है, कौन सी स्टोरेज लेयर जॉब को फीड करती है, क्या कोटा या रिज़र्वेशन है, और अगर प्लेसमेंट फेल हो तो वर्कलोड कैसे बैकअप लेता है।

[ALLOY]: स्टोरेज एक ठोस उदाहरण है। Google's guidance ट्रेनिंग डेटा और चेकपॉइंट के लिए रीजनल Cloud Storage बकेट्स को ड्यूरेबल सोर्स ऑफ ट्रुथ के तौर पर इंगित करती है, जबकि एक्टिव जॉब्स के लिए ज़ोनल परफॉर्मेंस लेयर्स होती हैं। Rapid Cache को एक मैनेज्ड SSD-बैक्ड ज़ोनल रीड कैश के रूप में बताया गया है जो बार-बार पढ़ा जाने वाला डेटा एक बकेट से AI ज़ोन में खींचता है ताकि बाद की रीड्स इन-ज़ोन से हो सकें।

[NOVA]: यही क्लासिक AI इन्फ्रास्ट्रक्चर ट्रेडऑफ है। ड्यूरेबल रीजनल स्टोरेज कैनोनिकल कॉपी के तौर पर सुरक्षित है। लेकिन एक्टिव ट्रेनिंग और इन्फरेंस जॉब्स को असली लेटेंसी और थ्रूपुट कॉस्ट चुकानी पड़ सकती है अगर हर रीड गलत रास्ते से गुज़रे। ज़ोनल कैश और स्क्रैच स्टोरेज एक्टिव परफॉर्मेंस बेहतर करते हैं, लेकिन ये लाइफसाइकल डिसीज़न लाते हैं: क्या ड्यूरेबल है, क्या अस्थायी है, कैश वार्मअप कैसे काम करता है, चेकपॉइंट वापस कैसे प्रमोट होते हैं, और फेल्योर के दौरान क्या होता है।

[ALLOY]: Kubernetes और बैच स्केड्यूलिंग को भी यही समस्या मिलती है। एक्सेलेरेटर-हैवी क्षमता को टारगेट करने वाला GKE क्लस्टर एक्सेस, GPU या TPU उपलब्धता, कोटा, रिज़र्वेशन, डेटा लोकलिटी, कैश बिहेवियर, और नेटवर्क पाथ को अकाउंट करना होता है। एक ट्रेनिंग पाइपलाइन जो मानती है कि कंप्यूट और डेटा सिर्फ रीजनल-लोकल हैं, पहले यूज़फुल टोकन या ग्रेडिएंट स्टेप से पहले समय बर्बाद कर सकती है।

[NOVA]: इसीलिए provider-stack डिस्कशन और cloud-zones डिस्कशन एक ही एपिसोड में आनी चाहिए। अगर आप Groq या Cerebras इस्तेमाल करते हैं, तो आप किसी और के ऑप्टिमाइज़्ड एक्सेलेरेटर प्लेसमेंट खरीद रहे हैं। अगर आप local LM Studio या Ollama इस्तेमाल करते हैं, तो आप एक्सेलेरेटर को अपने डेस्क के नीचे या अपने रैक में रख रहे हैं। अगर आप अपना क्लाउड डिप्लॉयमेंट बनाते हैं, तो आप सीधे एक्सेलेरेटर लोकलिटी के मालिक हैं। स्टैक चॉइस भी एक इन्फ्रास्ट्रक्चर चॉइस है।

[NOVA]: यही एपिसोड है। OpenClaw v2026.4.26 मायने रखता है क्योंकि यह रियलटाइम वॉइस, प्रोवाइडर राउटिंग, मेमोरी सर्च, प्लगइन म्यूटेशन, एन्क्रिप्शन, ट्रांसक्रिप्ट कम्पैक्शन, और माइग्रेशन के आसपास रनटाइम सरफेस कसता है। ये वही सरफेस हैं जो जटिल हो जाते हैं जब एक एजेंट रनटाइम को लोकल एंडपॉइंट्स, होस्टेड एक्सेलेरेटर्स, राउटर्स, गेटवेज़, प्राइवेसी फिल्टर्स, और क्लाउड इन्फ्रास्ट्रक्चर से बात करनी होती है।

[ALLOY]: प्रैक्टिकल रैंकिंग कोई एक यूनिवर्सल विजेता नहीं है। Groq तब बेहतरीन है जब स्पीड और सपोर्टेड मॉडल मेल खाते हैं। Cerebras हाई-थ्रूपुट सपोर्टेड-मॉडल इन्फरेंस के लिए आकर्षक है। LM Studio एक स्ट्रॉन्ग लोकल वर्कबेंच है, खासकर जब आपके पास हार्डवेयर पहले से है। Ollama कई डेवलपर्स के लिए सबसे आसान लोकल रनर है। OpenRouter ऑप्शनैलिटी और तुलना के लिए मज़बूत है। LiteLLM तब वैल्यूएबल है जब मॉडल एक्सेस को गवर्नेंस की ज़रूरत होती है।

[NOVA]: OpenAI Privacy Filter दिखाती है कि लोकल क्लासिफिकेशन प्राइवेसी पाथ का हिस्सा कैसे बन सकता है। Google Cloud AI zones दिखाते हैं कि एक्सेलेरेटर प्लेसमेंट और स्टोरेज लोकलिटी डिप्लॉयमेंट प्लान का हिस्सा कैसे बनती है। एक साथ रखें, तो पाठ सरल है: AI इन्फ्रास्ट्रक्चर अब एक लेयर्ड सिस्टम है, एक सिंगल API कॉल नहीं।

[ALLOY]: नोट्स और लिंक्स के लिए Toby On Fitness Tech dot com पर जाएं। सुनने के लिए धन्यवाद।

[NOVA]: मैं NOVA हूं। यह OpenClaw Daily है, और हम जल्द ही वापस आएंगे।