# अध्याय 07 : EdgeAI नमुने

एज AI म्हणजे कृत्रिम बुद्धिमत्तेचे एज संगणनासोबत एकत्रीकरण, ज्यामुळे डिव्हाइसवर थेट बुद्धिमान प्रक्रिया करता येते, क्लाउड कनेक्टिव्हिटीवर अवलंबून न राहता. या अध्यायात विविध प्लॅटफॉर्म आणि फ्रेमवर्कवर आधारित पाच वेगवेगळ्या EdgeAI अंमलबजावणींचा अभ्यास केला आहे, ज्यामुळे एजवर AI मॉडेल्स चालवण्याची बहुपरता आणि क्षमता दिसून येते.

## 1. NVIDIA Jetson Orin Nano मध्ये EdgeAI

NVIDIA Jetson Orin Nano हे एज AI संगणनात एक क्रांतिकारी पाऊल आहे, जे 67 TOPS पर्यंत AI कार्यक्षमता एका कॉम्पॅक्ट, क्रेडिट-कार्ड आकाराच्या स्वरूपात प्रदान करते. हे शक्तिशाली एज AI प्लॅटफॉर्म हौशी, विद्यार्थी आणि व्यावसायिक विकसकांसाठी जनरेटिव्ह AI विकास लोकशाहीकरण करते.

### मुख्य वैशिष्ट्ये
- 67 TOPS पर्यंत AI कार्यक्षमता प्रदान करते—त्याच्या पूर्ववर्तीपेक्षा 1.7X सुधारणा
- AI प्रक्रियेसाठी 1024 CUDA कोर आणि 32 Tensor कोर
- 6-कोर Arm Cortex-A78AE v8.2 64-बिट CPU, 1.5 GHz ची जास्तीत जास्त वारंवारता
- फक्त $249 मध्ये उपलब्ध, विकसक, विद्यार्थी आणि निर्मात्यांसाठी सर्वात परवडणारे आणि प्रवेशयोग्य प्लॅटफॉर्म

### अनुप्रयोग
Jetson Orin Nano आधुनिक जनरेटिव्ह AI मॉडेल्स चालवण्यात उत्कृष्ट आहे, ज्यामध्ये व्हिजन ट्रान्सफॉर्मर्स, मोठ्या भाषा मॉडेल्स आणि व्हिजन-लँग्वेज मॉडेल्स समाविष्ट आहेत. हे विशेषतः GenAI वापर प्रकरणांसाठी डिझाइन केले आहे आणि आता तुम्ही अनेक LLMs पाम डिव्हाइसवर चालवू शकता. लोकप्रिय वापर प्रकरणांमध्ये AI-सक्षम रोबोटिक्स, स्मार्ट ड्रोन, बुद्धिमान कॅमेरे आणि स्वायत्त एज डिव्हाइस समाविष्ट आहेत.

**अधिक जाणून घ्या**: [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62)

## 2. .NET MAUI आणि ONNX Runtime GenAI सह मोबाइल अनुप्रयोगांमध्ये EdgeAI

हे समाधान .NET MAUI (मल्टी-प्लॅटफॉर्म अॅप UI) आणि ONNX Runtime GenAI वापरून क्रॉस-प्लॅटफॉर्म मोबाइल अनुप्रयोगांमध्ये जनरेटिव्ह AI आणि मोठ्या भाषा मॉडेल्स (LLMs) कसे समाकलित करावे हे दर्शवते. ही पद्धत .NET विकसकांना Android आणि iOS डिव्हाइसवर स्थानिकपणे चालणारे परिष्कृत AI-सक्षम मोबाइल अनुप्रयोग तयार करण्यास सक्षम करते.

### मुख्य वैशिष्ट्ये
- .NET MAUI फ्रेमवर्कवर आधारित, Android आणि iOS अनुप्रयोगांसाठी एकच कोडबेस प्रदान करते
- ONNX Runtime GenAI समाकलन मोबाइल डिव्हाइसवर थेट जनरेटिव्ह AI मॉडेल्स चालवण्यास सक्षम करते
- CPU, GPU आणि विशेष मोबाइल AI प्रोसेसरसह मोबाइल डिव्हाइससाठी विविध हार्डवेअर प्रवेगकांना समर्थन देते
- ONNX Runtime द्वारे iOS साठी CoreML आणि Android साठी NNAPI सारख्या प्लॅटफॉर्म-विशिष्ट ऑप्टिमायझेशन
- प्री आणि पोस्ट प्रोसेसिंग, इनफरन्स, लॉजिट्स प्रोसेसिंग, शोध आणि सॅम्पलिंग, आणि KV कॅश व्यवस्थापनासह संपूर्ण जनरेटिव्ह AI लूप अंमलात आणते

### विकास फायदे
.NET MAUI पद्धत विकसकांना त्यांच्या विद्यमान C# आणि .NET कौशल्यांचा लाभ घेऊन क्रॉस-प्लॅटफॉर्म AI अनुप्रयोग तयार करण्यास अनुमती देते. ONNX Runtime GenAI फ्रेमवर्क Llama, Mistral, Phi, Gemma आणि इतर अनेक मॉडेल आर्किटेक्चरला समर्थन देते. ऑप्टिमाइझ केलेले ARM64 कर्नल INT4 क्वांटाइझ्ड मॅट्रिक्स गुणाकार गती वाढवतात, मोबाइल हार्डवेअरवर कार्यक्षम कार्यप्रदर्शन सुनिश्चित करतात आणि परिचित .NET विकास अनुभव राखतात.

### वापर प्रकरणे
हे समाधान .NET तंत्रज्ञान वापरून AI-सक्षम मोबाइल अनुप्रयोग तयार करू इच्छिणाऱ्या विकसकांसाठी आदर्श आहे, ज्यामध्ये बुद्धिमान चॅटबॉट्स, प्रतिमा ओळख अनुप्रयोग, भाषा अनुवाद साधने आणि वैयक्तिकृत शिफारस प्रणाली समाविष्ट आहेत, जे गोपनीयता आणि ऑफलाइन क्षमता वाढवण्यासाठी पूर्णपणे ऑन-डिव्हाइस चालतात.

**अधिक जाणून घ्या**: [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui)

## 3. Azure मध्ये Small Language Models Engine सह EdgeAI

Microsoft च्या Azure-आधारित EdgeAI समाधानाचा उद्देश Small Language Models (SLMs) क्लाउड-एज हायब्रिड वातावरणात कार्यक्षमतेने तैनात करणे आहे. ही पद्धत क्लाउड-स्केल AI सेवा आणि एज तैनातीच्या गरजांमधील अंतर भरते.

### आर्किटेक्चर फायदे
- Azure AI सेवांसोबत अखंड समाकलन
- ONNX Runtime सह SLMs/LLMs आणि मल्टी-मोडल मॉडेल्स ऑन-डिव्हाइस आणि क्लाउडमध्ये चालवा
- एंटरप्राइझ-स्केल तैनातीसाठी ऑप्टिमाइझ केलेले
- सतत मॉडेल अद्यतने आणि व्यवस्थापनासाठी समर्थन

### वापर प्रकरणे
Azure EdgeAI अंमलबजावणी एंटरप्राइझ-ग्रेड AI तैनातीसाठी क्लाउड व्यवस्थापन क्षमतांसह उत्कृष्ट आहे. यामध्ये बुद्धिमान दस्तऐवज प्रक्रिया, रिअल-टाइम विश्लेषण आणि क्लाउड आणि एज संगणन संसाधनांचा लाभ घेणारे हायब्रिड AI वर्कफ्लो समाविष्ट आहेत.

**अधिक जाणून घ्या**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine)

## [4. Windows ML सह EdgeAI](./windowdeveloper.md)

Windows ML हे Microsoft चे अत्याधुनिक रनटाइम आहे जे ऑन-डिव्हाइस मॉडेल इनफरन्ससाठी ऑप्टिमाइझ केले आहे आणि तैनाती सुलभ करते, Windows AI Foundry च्या पाया म्हणून काम करते. हे प्लॅटफॉर्म विकसकांना AI-सक्षम Windows अनुप्रयोग तयार करण्यास सक्षम करते जे PC हार्डवेअरच्या संपूर्ण स्पेक्ट्रमचा लाभ घेतात.

### प्लॅटफॉर्म क्षमता
- Windows 11 PCs वर चालते जे आवृत्ती 24H2 (बिल्ड 26100) किंवा त्याहून अधिक चालवतात
- x64 आणि ARM64 PC हार्डवेअरवर कार्य करते, जरी PC मध्ये NPUs किंवा GPUs नसले तरी
- विकसकांना त्यांचे स्वतःचे मॉडेल आणण्याची आणि AMD, Intel, NVIDIA आणि Qualcomm यासह सिलिकॉन पार्टनर इकोसिस्टममध्ये कार्यक्षमतेने तैनात करण्याची परवानगी देते
- पायाभूत सुविधा APIs चा लाभ घेत, विकसकांना वेगवेगळ्या सिलिकॉनसाठी लक्ष्य करण्यासाठी त्यांच्या अॅपचे अनेक बिल्ड तयार करण्याची आवश्यकता नाही

### विकसक फायदे
Windows ML हार्डवेअर आणि अंमलबजावणी प्रदात्यांना अब्स्ट्रॅक्ट करते, त्यामुळे तुम्ही तुमचा कोड लिहिण्यावर लक्ष केंद्रित करू शकता. तसेच, Windows ML नवीन NPUs, GPUs आणि CPUs ला समर्थन देण्यासाठी आपोआप अद्यतनित होते. प्लॅटफॉर्म विविध Windows हार्डवेअर इकोसिस्टममध्ये AI विकासासाठी एकसंध फ्रेमवर्क प्रदान करते.

**अधिक जाणून घ्या**: 
- [Windows ML Overview](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview)
- [Windows EdgeAI Development Guide](./windowdeveloper.md) - Windows Edge AI विकासासाठी सर्वसमावेशक मार्गदर्शक

## [5. Foundry Local Applications सह EdgeAI](./foundrylocal.md)

Foundry Local Windows आणि Mac विकसकांना .NET मध्ये स्थानिक संसाधने वापरून Retrieval Augmented Generation (RAG) अनुप्रयोग तयार करण्यास सक्षम करते, स्थानिक भाषा मॉडेल्स आणि सेमॅंटिक शोध क्षमता एकत्रित करते. ही पद्धत गोपनीयता-केंद्रित AI उपाय प्रदान करते जे पूर्णपणे स्थानिक पायाभूत सुविधांवर कार्य करतात.

### तांत्रिक आर्किटेक्चर
- Phi भाषा मॉडेल, स्थानिक एम्बेडिंग्ज आणि सेमॅंटिक कर्नल एकत्रित करून RAG परिदृश्य तयार करते
- सामग्री आणि त्याचा सेमॅंटिक अर्थ दर्शविणाऱ्या फ्लोटिंग-पॉइंट मूल्यांच्या व्हेक्टर (अ‍ॅरे) म्हणून एम्बेडिंग्ज वापरते
- सेमॅंटिक कर्नल मुख्य ऑर्केस्ट्रेटर म्हणून कार्य करते, Phi आणि स्मार्ट घटक एकत्रित करून अखंड RAG पाइपलाइन तयार करते
- SQLite आणि Qdrant यासह स्थानिक व्हेक्टर डेटाबेससाठी समर्थन

### अंमलबजावणी फायदे
RAG, किंवा Retrieval Augmented Generation, म्हणजे "काही गोष्टी शोधा आणि ती प्रॉम्प्टमध्ये ठेवा" असे म्हणण्याचा एक फॅन्सी मार्ग आहे. ही स्थानिक अंमलबजावणी डेटा गोपनीयता सुनिश्चित करते आणि सानुकूल ज्ञान तळांमध्ये आधारित बुद्धिमान प्रतिसाद प्रदान करते. ही पद्धत डेटा सार्वभौमत्व आणि ऑफलाइन ऑपरेशन क्षमतांची आवश्यकता असलेल्या एंटरप्राइझ परिस्थितीसाठी विशेषतः मूल्यवान आहे.

**अधिक जाणून घ्या**: 
- [Foundry Local](./foundrylocal.md)
- [Foundry Local RAG Samples](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag)

### Windows Foundry Local

Microsoft Foundry Local Windows वर मॉडेल्स स्थानिकपणे चालवण्यासाठी ONNX Runtime द्वारे समर्थित OpenAI-सुसंगत REST सर्व्हर प्रदान करते. खाली एक जलद, सत्यापित सारांश दिला आहे; संपूर्ण तपशीलांसाठी अधिकृत दस्तऐवज पहा.

- सुरुवात करा: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started
- आर्किटेक्चर: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
- CLI संदर्भ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli
- या रेपोमध्ये संपूर्ण Windows मार्गदर्शक: [foundrylocal.md](./foundrylocal.md)

Windows वर स्थापित किंवा अपग्रेड करा (cmd.exe):
```cmd
winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version
```

CLI श्रेणी एक्सप्लोर करा:
```cmd
foundry model --help
foundry service --help
foundry cache --help
```

मॉडेल चालवा आणि डायनॅमिक एंडपॉइंट शोधा:
```cmd
foundry model run gpt-oss-20b
foundry service status
```

मॉडेल्स सूचीबद्ध करण्यासाठी जलद REST तपासणी (स्टेटसमधून PORT बदला):
```cmd
curl -s http://localhost:PORT/v1/models
```

टीप:
- SDK समाकलन: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
- तुमचे स्वतःचे मॉडेल आणा (कंपाइल करा): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models

## Windows EdgeAI विकास संसाधने

Windows प्लॅटफॉर्मला विशेषतः लक्ष्य करणाऱ्या विकसकांसाठी, आम्ही Windows EdgeAI इकोसिस्टमचे संपूर्ण मार्गदर्शक तयार केले आहे. हे संसाधन Windows AI Foundry, APIs, साधने आणि Windows वर EdgeAI विकासासाठी सर्वोत्तम पद्धतींबद्दल तपशीलवार माहिती प्रदान करते.

### Windows AI Foundry प्लॅटफॉर्म
Windows AI Foundry प्लॅटफॉर्म Windows डिव्हाइसवर Edge AI विकासासाठी विशेषतः डिझाइन केलेल्या साधने आणि APIs चा संपूर्ण संच प्रदान करते. यामध्ये NPU-प्रवर्धित हार्डवेअर, Windows ML समाकलन आणि प्लॅटफॉर्म-विशिष्ट ऑप्टिमायझेशन तंत्रांसाठी विशेष समर्थन समाविष्ट आहे.

**सर्वसमावेशक मार्गदर्शक**: [Windows EdgeAI Development Guide](../windowdeveloper.md)

या मार्गदर्शकात समाविष्ट आहे:
- Windows AI Foundry प्लॅटफॉर्मचा आढावा आणि घटक
- NPU हार्डवेअरवर कार्यक्षम इनफरन्ससाठी Phi Silica API
- प्रतिमा प्रक्रिया आणि OCR साठी संगणकीय दृष्टि APIs
- Windows ML रनटाइम समाकलन आणि ऑप्टिमायझेशन
- स्थानिक विकास आणि चाचणीसाठी Foundry Local CLI
- Windows डिव्हाइससाठी हार्डवेअर ऑप्टिमायझेशन धोरणे
- व्यावहारिक अंमलबजावणी उदाहरणे आणि सर्वोत्तम पद्धती

### [Edge AI विकासासाठी AI Toolkit](./aitoolkit.md)
Visual Studio Code वापरणाऱ्या विकसकांसाठी, AI Toolkit विस्तार Edge AI अनुप्रयोग तयार करणे, चाचणी करणे आणि तैनात करणे यासाठी विशेषतः डिझाइन केलेले सर्वसमावेशक विकास वातावरण प्रदान करते. हे टूलकिट VS Code मध्ये संपूर्ण Edge AI विकास कार्यप्रवाह सुलभ करते.

**विकास मार्गदर्शक**: [AI Toolkit for Edge AI Development](./aitoolkit.md)

AI Toolkit मार्गदर्शकात समाविष्ट आहे:
- एज तैनातीसाठी मॉडेल शोध आणि निवड
- स्थानिक चाचणी आणि ऑप्टिमायझेशन कार्यप्रवाह
- एज मॉडेल्ससाठी ONNX आणि Ollama समाकलन
- मॉडेल रूपांतरण आणि क्वांटायझेशन तंत्र
- एज परिस्थितीसाठी एजंट विकास
- कार्यप्रदर्शन मूल्यांकन आणि निरीक्षण
- तैनाती तयारी आणि सर्वोत्तम पद्धती

## निष्कर्ष

हे पाच EdgeAI अंमलबजावणी आज उपलब्ध असलेल्या एज AI उपायांची परिपक्वता आणि विविधता दर्शवतात. Jetson Orin Nano सारख्या हार्डवेअर-प्रवर्धित एज डिव्हाइसपासून ONNX Runtime GenAI आणि Windows ML सारख्या सॉफ्टवेअर फ्रेमवर्कपर्यंत, विकसकांना एजवर बुद्धिमान अनुप्रयोग तैनात करण्यासाठी अभूतपूर्व पर्याय उपलब्ध आहेत.

या सर्व प्लॅटफॉर्म्समध्ये सामान्य धागा म्हणजे AI क्षमता लोकशाहीकरण, ज्यामुळे विविध कौशल्य स्तर आणि वापर प्रकरणांमध्ये विकसकांसाठी प्रगत मशीन लर्निंग प्रवेशयोग्य बनते. मोबाइल अनुप्रयोग, डेस्कटॉप सॉफ्टवेअर किंवा एम्बेडेड सिस्टम तयार करत असताना, हे EdgeAI उपाय एजवर कार्यक्षम आणि खाजगीपणे कार्य करणाऱ्या पुढील पिढीतील बुद्धिमान अनुप्रयोगांसाठी पाया प्रदान करतात.

प्रत्येक प्लॅटफॉर्म अद्वितीय फायदे प्रदान करतो: हार्डवेअर-प्रवर्धित एज संगणनासाठी Jetson Orin Nano, क्रॉस-प्लॅटफॉर्म मोबाइल विकासासाठी ONNX Runtime GenAI, एंटरप्राइझ क्लाउड-एज समाकलनासाठी Azure EdgeAI, Windows-नेटिव्ह अनुप्रयोगांसाठी Windows ML आणि गोपनीयता-केंद्रित RAG अंमलबजावणीसाठी Foundry Local. एकत्रितपणे, ते EdgeAI विकासासाठी एक व्यापक इकोसिस्टम दर्शवतात.

[Next AI Toolkit](aitoolkit.md)

---

**अस्वीकरण**:  
हा दस्तऐवज AI भाषांतर सेवा [Co-op Translator](https://github.com/Azure/co-op-translator) चा वापर करून भाषांतरित करण्यात आला आहे. आम्ही अचूकतेसाठी प्रयत्नशील असलो तरी कृपया लक्षात ठेवा की स्वयंचलित भाषांतरे त्रुटी किंवा अचूकतेच्या अभावाने युक्त असू शकतात. मूळ भाषेतील दस्तऐवज हा अधिकृत स्रोत मानला जावा. महत्त्वाच्या माहितीसाठी व्यावसायिक मानवी भाषांतराची शिफारस केली जाते. या भाषांतराचा वापर करून उद्भवलेल्या कोणत्याही गैरसमज किंवा चुकीच्या अर्थासाठी आम्ही जबाबदार राहणार नाही.