# باب 07: ایج اے آئی کے نمونے

ایج اے آئی مصنوعی ذہانت اور ایج کمپیوٹنگ کے امتزاج کو ظاہر کرتا ہے، جو آلات پر براہ راست ذہین پروسیسنگ کو ممکن بناتا ہے، بغیر کلاؤڈ کنیکٹیویٹی پر انحصار کیے۔ یہ باب مختلف پلیٹ فارمز اور فریم ورکس پر پانچ منفرد ایج اے آئی کے نفاذات کا جائزہ لیتا ہے، جو ایج پر اے آئی ماڈلز چلانے کی صلاحیت اور طاقت کو ظاہر کرتا ہے۔

## 1. NVIDIA Jetson Orin Nano میں ایج اے آئی

NVIDIA Jetson Orin Nano ایج اے آئی کمپیوٹنگ میں ایک انقلابی قدم ہے، جو ایک کمپیکٹ، کریڈٹ کارڈ کے سائز کے فارم فیکٹر میں 67 TOPS تک کی اے آئی کارکردگی فراہم کرتا ہے۔ یہ طاقتور ایج اے آئی پلیٹ فارم شوقیہ افراد، طلباء، اور پیشہ ور ڈویلپرز کے لیے جنریٹو اے آئی کی ترقی کو آسان بناتا ہے۔

### اہم خصوصیات
- 67 TOPS تک کی اے آئی کارکردگی فراہم کرتا ہے—اپنے پیشرو کے مقابلے میں 1.7 گنا بہتری
- 1024 CUDA کورز اور 32 تک ٹینسر کورز برائے اے آئی پروسیسنگ
- 6-کور Arm Cortex-A78AE v8.2 64-bit CPU، زیادہ سے زیادہ 1.5 GHz کی فریکوئنسی کے ساتھ
- صرف $249 کی قیمت پر، ڈویلپرز، طلباء، اور میکرز کے لیے سب سے سستا اور قابل رسائی پلیٹ فارم

### استعمالات
Jetson Orin Nano جدید جنریٹو اے آئی ماڈلز جیسے وژن ٹرانسفارمرز، بڑے زبان کے ماڈلز، اور وژن-زبان ماڈلز چلانے میں مہارت رکھتا ہے۔ یہ خاص طور پر GenAI کے استعمال کے لیے ڈیزائن کیا گیا ہے، اور اب آپ کئی LLMs کو ایک ہتھیلی کے سائز کے آلے پر چلا سکتے ہیں۔ مقبول استعمالات میں اے آئی سے چلنے والے روبوٹکس، اسمارٹ ڈرونز، ذہین کیمرے، اور خود مختار ایج ڈیوائسز شامل ہیں۔

**مزید جانیں**: [NVIDIA کا Jetson Orin Nano سپر کمپیوٹر: ایج اے آئی میں اگلا بڑا قدم](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62)

## 2. .NET MAUI اور ONNX Runtime GenAI کے ساتھ موبائل ایپلیکیشنز میں ایج اے آئی

یہ حل جنریٹو اے آئی اور بڑے زبان کے ماڈلز (LLMs) کو .NET MAUI (ملٹی پلیٹ فارم ایپ UI) اور ONNX Runtime GenAI کا استعمال کرتے ہوئے کراس پلیٹ فارم موبائل ایپلیکیشنز میں ضم کرنے کا مظاہرہ کرتا ہے۔ یہ طریقہ .NET ڈویلپرز کو اینڈرائیڈ اور iOS ڈیوائسز پر مقامی طور پر چلنے والی جدید اے آئی سے چلنے والی موبائل ایپلیکیشنز بنانے کے قابل بناتا ہے۔

### اہم خصوصیات
- .NET MAUI فریم ورک پر مبنی، جو اینڈرائیڈ اور iOS ایپلیکیشنز کے لیے ایک ہی کوڈ بیس فراہم کرتا ہے
- ONNX Runtime GenAI انضمام، جو موبائل ڈیوائسز پر جنریٹو اے آئی ماڈلز کو براہ راست چلانے کے قابل بناتا ہے
- موبائل ڈیوائسز کے لیے مخصوص ہارڈویئر ایکسیلیریٹرز کی حمایت، بشمول CPU، GPU، اور خصوصی موبائل اے آئی پروسیسرز
- ONNX Runtime کے ذریعے iOS کے لیے CoreML اور اینڈرائیڈ کے لیے NNAPI جیسی پلیٹ فارم مخصوص اصلاحات
- مکمل جنریٹو اے آئی لوپ کو نافذ کرتا ہے، بشمول پری اور پوسٹ پروسیسنگ، انفرنس، لاجٹس پروسیسنگ، سرچ اور سیمپلنگ، اور KV کیش مینجمنٹ

### ترقیاتی فوائد
.NET MAUI کا طریقہ ڈویلپرز کو ان کے موجودہ C# اور .NET مہارتوں کو استعمال کرتے ہوئے کراس پلیٹ فارم اے آئی ایپلیکیشنز بنانے کی اجازت دیتا ہے۔ ONNX Runtime GenAI فریم ورک متعدد ماڈل آرکیٹیکچرز کی حمایت کرتا ہے، بشمول Llama، Mistral، Phi، Gemma، اور دیگر۔ ARM64 کرنلز کو بہتر بنایا گیا ہے تاکہ INT4 کوانٹائزڈ میٹرکس ملٹیپلیکیشن کو تیز کیا جا سکے، جو موبائل ہارڈویئر پر موثر کارکردگی کو یقینی بناتا ہے جبکہ .NET ترقیاتی تجربے کو برقرار رکھتا ہے۔

### استعمالات
یہ حل ان ڈویلپرز کے لیے مثالی ہے جو .NET ٹیکنالوجیز کا استعمال کرتے ہوئے اے آئی سے چلنے والی موبائل ایپلیکیشنز بنانا چاہتے ہیں، بشمول ذہین چیٹ بوٹس، امیج ریکگنیشن ایپس، زبان کے ترجمے کے اوزار، اور ذاتی نوعیت کے تجویزاتی نظام جو بہتر پرائیویسی اور آف لائن صلاحیت کے لیے مکمل طور پر ڈیوائس پر چلتے ہیں۔

**مزید جانیں**: [.NET MAUI ONNX Runtime GenAI مثال](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui)

## 3. Azure میں ایج اے آئی کے ساتھ Small Language Models Engine

Microsoft کا Azure پر مبنی ایج اے آئی حل کلاؤڈ-ایج ہائبرڈ ماحول میں Small Language Models (SLMs) کو مؤثر طریقے سے تعینات کرنے پر مرکوز ہے۔ یہ طریقہ کلاؤڈ اسکیل اے آئی سروسز اور ایج ڈپلائمنٹ کی ضروریات کے درمیان خلا کو پُر کرتا ہے۔

### آرکیٹیکچر کے فوائد
- Azure AI سروسز کے ساتھ ہموار انضمام
- ONNX Runtime کے ساتھ SLMs/LLMs اور ملٹی موڈل ماڈلز کو ڈیوائس پر اور کلاؤڈ میں چلائیں
- انٹرپرائز اسکیل ڈپلائمنٹ کے لیے بہتر بنایا گیا
- ماڈل کی مسلسل اپ ڈیٹس اور مینجمنٹ کی حمایت

### استعمالات
Azure EdgeAI نفاذ ان منظرناموں میں بہترین ہے جن میں انٹرپرائز گریڈ اے آئی ڈپلائمنٹ کی ضرورت ہوتی ہے، جس میں کلاؤڈ مینجمنٹ کی صلاحیتیں شامل ہیں۔ اس میں ذہین دستاویز پروسیسنگ، ریئل ٹائم اینالیٹکس، اور ہائبرڈ اے آئی ورک فلو شامل ہیں جو کلاؤڈ اور ایج کمپیوٹنگ وسائل دونوں کا فائدہ اٹھاتے ہیں۔

**مزید جانیں**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine)

## [4. Windows ML کے ساتھ ایج اے آئی](./windowdeveloper.md)

Windows ML Microsoft کا جدید ترین رن ٹائم ہے جو ڈیوائس پر ماڈل انفرنس کو بہتر بناتا ہے اور ڈپلائمنٹ کو آسان بناتا ہے، جو Windows AI Foundry کی بنیاد کے طور پر کام کرتا ہے۔ یہ پلیٹ فارم ڈویلپرز کو اے آئی سے چلنے والی ونڈوز ایپلیکیشنز بنانے کے قابل بناتا ہے جو پی سی ہارڈویئر کے مکمل اسپیکٹرم کا فائدہ اٹھاتے ہیں۔

### پلیٹ فارم کی صلاحیتیں
- تمام Windows 11 PCs پر کام کرتا ہے جو ورژن 24H2 (بلڈ 26100) یا اس سے زیادہ پر چل رہے ہیں
- تمام x64 اور ARM64 پی سی ہارڈویئر پر کام کرتا ہے، یہاں تک کہ وہ پی سی بھی جن میں NPUs یا GPUs نہیں ہیں
- ڈویلپرز کو اپنے ماڈلز لانے اور انہیں AMD، Intel، NVIDIA، اور Qualcomm سمیت سلیکون پارٹنر ایکوسسٹم میں مؤثر طریقے سے تعینات کرنے کے قابل بناتا ہے
- انفراسٹرکچر APIs کا فائدہ اٹھاتے ہوئے، ڈویلپرز کو مختلف سلیکون کو ہدف بنانے کے لیے اپنی ایپ کے متعدد بلڈز بنانے کی ضرورت نہیں ہے

### ڈویلپر فوائد
Windows ML ہارڈویئر اور ایکزیکیوشن پرووائیڈرز کو خلاصہ کرتا ہے، تاکہ آپ اپنے کوڈ لکھنے پر توجہ مرکوز کر سکیں۔ مزید برآں، Windows ML خود بخود اپ ڈیٹ ہوتا ہے تاکہ تازہ ترین NPUs، GPUs، اور CPUs کی حمایت کی جا سکے جیسے ہی وہ جاری کیے جاتے ہیں۔ یہ پلیٹ فارم ونڈوز ہارڈویئر ایکوسسٹم میں اے آئی ڈویلپمنٹ کے لیے ایک متحد فریم ورک فراہم کرتا ہے۔

**مزید جانیں**: 
- [Windows ML کا جائزہ](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview)
- [Windows EdgeAI ڈویلپمنٹ گائیڈ](./windowdeveloper.md) - ونڈوز ایج اے آئی ڈویلپمنٹ کے لیے جامع گائیڈ

## [5. Foundry Local ایپلیکیشنز کے ساتھ ایج اے آئی](./foundrylocal.md)

Foundry Local ونڈوز اور میک ڈویلپرز کو .NET کا استعمال کرتے ہوئے Retrieval Augmented Generation (RAG) ایپلیکیشنز بنانے کے قابل بناتا ہے، جو مقامی وسائل کو مقامی زبان کے ماڈلز کے ساتھ سیمینٹک سرچ کی صلاحیتوں کے ساتھ جوڑتا ہے۔ یہ طریقہ پرائیویسی پر مبنی اے آئی حل فراہم کرتا ہے جو مکمل طور پر مقامی انفراسٹرکچر پر کام کرتے ہیں۔

### تکنیکی آرکیٹیکچر
- Phi زبان کے ماڈل، مقامی ایمبیڈنگز، اور سیمینٹک کرنل کو RAG منظرنامہ بنانے کے لیے جوڑتا ہے
- ایمبیڈنگز کو فلوٹنگ پوائنٹ ویلیوز کی ویکٹرز (صفوں) کے طور پر استعمال کرتا ہے جو مواد اور اس کے سیمینٹک معنی کی نمائندگی کرتے ہیں
- سیمینٹک کرنل مرکزی آرکیسٹریٹر کے طور پر کام کرتا ہے، Phi اور اسمارٹ کمپوننٹس کو مربوط کرتا ہے تاکہ ایک ہموار RAG پائپ لائن بنائی جا سکے
- مقامی ویکٹر ڈیٹا بیسز کی حمایت، بشمول SQLite اور Qdrant

### نفاذ کے فوائد
RAG، یا Retrieval Augmented Generation، بنیادی طور پر "کچھ معلومات تلاش کریں اور اسے پرامپٹ میں ڈالیں" کا ایک فینسی طریقہ ہے۔ یہ مقامی نفاذ ڈیٹا کی پرائیویسی کو یقینی بناتا ہے جبکہ ذہین جوابات فراہم کرتا ہے جو کسٹم نالج بیسز پر مبنی ہوتے ہیں۔ یہ طریقہ خاص طور پر انٹرپرائز منظرناموں کے لیے قیمتی ہے جن میں ڈیٹا کی خودمختاری اور آف لائن آپریشن کی صلاحیتوں کی ضرورت ہوتی ہے۔

**مزید جانیں**: 
- [Foundry Local](./foundrylocal.md)
- [Foundry Local RAG کے نمونے](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag)

### Windows Foundry Local

Microsoft Foundry Local ایک OpenAI کے مطابق REST سرور فراہم کرتا ہے جو ONNX Runtime کے ذریعے ونڈوز پر ماڈلز کو مقامی طور پر چلانے کے لیے تیار کیا گیا ہے۔ نیچے ایک فوری، تصدیق شدہ خلاصہ دیا گیا ہے؛ مکمل تفصیلات کے لیے آفیشل ڈاکس دیکھیں۔

- شروعات کریں: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started
- آرکیٹیکچر: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
- CLI حوالہ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli
- اس ریپو میں مکمل ونڈوز گائیڈ: [foundrylocal.md](./foundrylocal.md)

ونڈوز پر انسٹال کریں یا اپ گریڈ کریں (cmd.exe):
```cmd
winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version
```

CLI کیٹیگریز کو دریافت کریں:
```cmd
foundry model --help
foundry service --help
foundry cache --help
```

ماڈل چلائیں اور متحرک اینڈ پوائنٹ دریافت کریں:
```cmd
foundry model run gpt-oss-20b
foundry service status
```

ماڈلز کی فہرست کے لیے فوری REST چیک (PORT کو اسٹیٹس سے تبدیل کریں):
```cmd
curl -s http://localhost:PORT/v1/models
```

ٹپس:
- SDK انٹیگریشن: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
- اپنا ماڈل لائیں (کمپائل کریں): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models

## Windows EdgeAI ڈویلپمنٹ کے وسائل

ان ڈویلپرز کے لیے جو خاص طور پر ونڈوز پلیٹ فارم کو ہدف بناتے ہیں، ہم نے ایک جامع گائیڈ تیار کی ہے جو مکمل ونڈوز ایج اے آئی ایکوسسٹم کا احاطہ کرتی ہے۔ یہ وسیلہ ونڈوز AI Foundry کے بارے میں تفصیلی معلومات فراہم کرتا ہے، بشمول APIs، ٹولز، اور ونڈوز پر ایج اے آئی ڈویلپمنٹ کے بہترین طریقے۔

### Windows AI Foundry پلیٹ فارم
Windows AI Foundry پلیٹ فارم ایج اے آئی ڈویلپمنٹ کے لیے خاص طور پر ڈیزائن کیے گئے ٹولز اور APIs کا ایک جامع سوٹ فراہم کرتا ہے۔ اس میں NPU-ایکسلیریٹڈ ہارڈویئر، Windows ML انضمام، اور پلیٹ فارم مخصوص اصلاحی تکنیکوں کے لیے خصوصی سپورٹ شامل ہے۔

**جامع گائیڈ**: [Windows EdgeAI ڈویلپمنٹ گائیڈ](../windowdeveloper.md)

یہ گائیڈ شامل کرتی ہے:
- Windows AI Foundry پلیٹ فارم کا جائزہ اور اجزاء
- NPU ہارڈویئر پر موثر انفرنس کے لیے Phi Silica API
- امیج پروسیسنگ اور OCR کے لیے کمپیوٹر وژن APIs
- Windows ML رن ٹائم انضمام اور اصلاح
- مقامی ترقی اور جانچ کے لیے Foundry Local CLI
- ونڈوز ڈیوائسز کے لیے ہارڈویئر اصلاحی حکمت عملی
- عملی نفاذ کی مثالیں اور بہترین طریقے

### [ایج اے آئی ڈویلپمنٹ کے لیے AI ٹول کٹ](./aitoolkit.md)
Visual Studio Code استعمال کرنے والے ڈویلپرز کے لیے، AI Toolkit ایک جامع ترقیاتی ماحول فراہم کرتا ہے جو خاص طور پر ایج اے آئی ایپلیکیشنز بنانے، جانچنے، اور تعینات کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ ٹول کٹ VS Code کے اندر مکمل ایج اے آئی ڈویلپمنٹ ورک فلو کو آسان بناتا ہے۔

**ڈویلپمنٹ گائیڈ**: [ایج اے آئی ڈویلپمنٹ کے لیے AI ٹول کٹ](./aitoolkit.md)

AI Toolkit گائیڈ شامل کرتی ہے:
- ایج ڈپلائمنٹ کے لیے ماڈل کی دریافت اور انتخاب
- مقامی جانچ اور اصلاحی ورک فلو
- ایج ماڈلز کے لیے ONNX اور Ollama انضمام
- ماڈل کی تبدیلی اور کوانٹائزیشن تکنیک
- ایج منظرناموں کے لیے ایجنٹ کی ترقی
- کارکردگی کی تشخیص اور نگرانی
- ڈپلائمنٹ کی تیاری اور بہترین طریقے

## نتیجہ

یہ پانچ ایج اے آئی کے نفاذات آج دستیاب ایج اے آئی حلوں کی پختگی اور تنوع کو ظاہر کرتے ہیں۔ ہارڈویئر-ایکسلیریٹڈ ایج ڈیوائسز جیسے Jetson Orin Nano سے لے کر سافٹ ویئر فریم ورکس جیسے ONNX Runtime GenAI اور Windows ML تک، ڈویلپرز کے پاس ذہین ایپلیکیشنز کو ایج پر تعینات کرنے کے لیے بے مثال اختیارات ہیں۔

ان تمام پلیٹ فارمز میں مشترکہ دھاگہ اے آئی صلاحیتوں کی جمہوریت ہے، جو مختلف مہارت کی سطحوں اور استعمال کے معاملات میں ڈویلپرز کے لیے جدید مشین لرننگ کو قابل رسائی بناتی ہے۔ چاہے موبائل ایپلیکیشنز، ڈیسک ٹاپ سافٹ ویئر، یا ایمبیڈڈ سسٹمز بنانا ہو، یہ ایج اے آئی حل اگلی نسل کی ذہین ایپلیکیشنز کے لیے بنیاد فراہم کرتے ہیں جو ایج پر مؤثر اور نجی طور پر کام کرتی ہیں۔

ہر پلیٹ فارم منفرد فوائد پیش کرتا ہے: Jetson Orin Nano ہارڈویئر-ایکسلیریٹڈ ایج کمپیوٹنگ کے لیے، ONNX Runtime GenAI کراس پلیٹ فارم موبائل ڈویلپمنٹ کے لیے، Azure EdgeAI انٹرپرائز کلاؤڈ-ایج انٹیگریشن کے لیے، Windows ML ونڈوز-نیٹو ایپلیکیشنز کے لیے، اور Foundry Local پرائیویسی پر مبنی RAG نفاذات کے لیے۔ یہ سب مل کر ایج اے آئی ڈویلپمنٹ کے لیے ایک جامع ایکوسسٹم کی نمائندگی کرتے ہیں۔

[اگلا AI ٹول کٹ](aitoolkit.md)

---

**اعلانِ لاتعلقی**:  
یہ دستاویز AI ترجمہ سروس [Co-op Translator](https://github.com/Azure/co-op-translator) کا استعمال کرتے ہوئے ترجمہ کی گئی ہے۔ ہم درستگی کے لیے کوشش کرتے ہیں، لیکن براہ کرم آگاہ رہیں کہ خودکار ترجمے میں غلطیاں یا عدم درستگی ہو سکتی ہیں۔ اصل دستاویز کو اس کی اصل زبان میں مستند ذریعہ سمجھا جانا چاہیے۔ اہم معلومات کے لیے، پیشہ ور انسانی ترجمہ کی سفارش کی جاتی ہے۔ اس ترجمے کے استعمال سے پیدا ہونے والی کسی بھی غلط فہمی یا غلط تشریح کے لیے ہم ذمہ دار نہیں ہیں۔