# ਚੈਪਟਰ 07 : ਐਜ ਏਆਈ ਸੈਂਪਲ

ਐਜ ਏਆਈ ਕਲਾਉਡ ਕਨੈਕਟਿਵਿਟੀ 'ਤੇ ਨਿਰਭਰ ਕੀਤੇ ਬਿਨਾਂ, ਸਿੱਧੇ ਡਿਵਾਈਸਾਂ 'ਤੇ ਸਮਰੱਥ ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹੋਏ, ਕ੍ਰਿਤਮ ਬੁੱਧੀਮਤਾ ਅਤੇ ਐਜ ਕੰਪਿਊਟਿੰਗ ਦੇ ਮਿਲਾਪ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਸ ਚੈਪਟਰ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਪਲੇਟਫਾਰਮਾਂ ਅਤੇ ਫਰੇਮਵਰਕਸ 'ਤੇ ਪੰਜ ਵਿਲੱਖਣ ਐਜ ਏਆਈ ਇੰਪਲੀਮੈਂਟੇਸ਼ਨ ਦੀ ਜਾਂਚ ਕੀਤੀ ਗਈ ਹੈ, ਜੋ ਐਜ 'ਤੇ ਏਆਈ ਮਾਡਲ ਚਲਾਉਣ ਦੀ ਵਿਵਿਧਤਾ ਅਤੇ ਸ਼ਕਤੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

## 1. NVIDIA Jetson Orin Nano ਵਿੱਚ ਐਜ ਏਆਈ

NVIDIA Jetson Orin Nano ਇੱਕ ਬ੍ਰੇਕਥਰੂ ਹੈ ਜੋ ਪਹੁੰਚਯੋਗ ਐਜ ਏਆਈ ਕੰਪਿਊਟਿੰਗ ਵਿੱਚ ਹੈ, ਜੋ ਕਿ 67 TOPS ਤੱਕ ਦੀ ਏਆਈ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਇੱਕ ਛੋਟੇ, ਕਰੈਡਿਟ-ਕਾਰਡ-ਆਕਾਰ ਦੇ ਫਾਰਮ ਫੈਕਟਰ ਵਿੱਚ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਇਹ ਸ਼ਕਤੀਸ਼ਾਲੀ ਐਜ ਏਆਈ ਪਲੇਟਫਾਰਮ ਹੌਬੀਸਟ, ਵਿਦਿਆਰਥੀਆਂ ਅਤੇ ਪੇਸ਼ੇਵਰ ਡਿਵੈਲਪਰਾਂ ਲਈ ਜਨਰੇਟਿਵ ਏਆਈ ਵਿਕਾਸ ਨੂੰ ਲੋਕਤੰਤਰਤ ਕਰਦਾ ਹੈ।

### ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
- 67 TOPS ਤੱਕ ਦੀ ਏਆਈ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ—ਇਸਦੇ ਪੂਰਵਜ ਦੇ ਮੁਕਾਬਲੇ 1.7X ਸੁਧਾਰ
- 1024 CUDA ਕੋਰ ਅਤੇ 32 ਤੱਕ ਟੈਂਸਰ ਕੋਰ ਏਆਈ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ
- 6-ਕੋਰ Arm Cortex-A78AE v8.2 64-ਬਿਟ CPU 1.5 GHz ਦੀ ਵੱਧ ਤੋਂ ਵੱਧ ਫ੍ਰੀਕਵੈਂਸੀ ਨਾਲ
- ਸਿਰਫ $249 ਦੀ ਕੀਮਤ, ਡਿਵੈਲਪਰਾਂ, ਵਿਦਿਆਰਥੀਆਂ ਅਤੇ ਮੈਕਰਾਂ ਲਈ ਸਭ ਤੋਂ ਸਸਤੀ ਅਤੇ ਪਹੁੰਚਯੋਗ ਪਲੇਟਫਾਰਮ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ

### ਐਪਲੀਕੇਸ਼ਨ
Jetson Orin Nano ਆਧੁਨਿਕ ਜਨਰੇਟਿਵ ਏਆਈ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਵਿੱਚ ਸ਼ਾਨਦਾਰ ਹੈ, ਜਿਸ ਵਿੱਚ ਵਿਜ਼ਨ ਟ੍ਰਾਂਸਫਾਰਮਰ, ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਅਤੇ ਵਿਜ਼ਨ-ਭਾਸ਼ਾ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ। ਇਹ ਖਾਸ ਤੌਰ 'ਤੇ GenAI ਦੇ ਉਪਯੋਗ ਮਾਮਲਿਆਂ ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਹੁਣ ਤੁਸੀਂ ਕਈ LLMs ਨੂੰ ਹਥੇਲੀ ਦੇ ਆਕਾਰ ਦੇ ਡਿਵਾਈਸ 'ਤੇ ਚਲਾ ਸਕਦੇ ਹੋ। ਪ੍ਰਸਿੱਧ ਉਪਯੋਗ ਮਾਮਲੇ ਵਿੱਚ ਏਆਈ-ਚਾਲਤ ਰੋਬੋਟਿਕਸ, ਸਮਾਰਟ ਡਰੋਨ, ਇੰਟੈਲੀਜੈਂਟ ਕੈਮਰੇ ਅਤੇ ਸਵੈ-ਚਾਲਤ ਐਜ ਡਿਵਾਈਸ ਸ਼ਾਮਲ ਹਨ।

**ਹੋਰ ਜਾਣੋ**: [NVIDIA ਦਾ Jetson Orin Nano SuperComputer: EdgeAI ਵਿੱਚ ਅਗਲਾ ਵੱਡਾ ਕਦਮ](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62)

## 2. .NET MAUI ਅਤੇ ONNX Runtime GenAI ਨਾਲ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ ਐਜ ਏਆਈ

ਇਹ ਹੱਲ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਕਿਵੇਂ .NET MAUI (ਮਲਟੀ-ਪਲੇਟਫਾਰਮ ਐਪ UI) ਅਤੇ ONNX Runtime GenAI ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਜਨਰੇਟਿਵ ਏਆਈ ਅਤੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLMs) ਨੂੰ ਕ੍ਰਾਸ-ਪਲੇਟਫਾਰਮ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਪਹੁੰਚ .NET ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਸੁਧਾਰਤ ਏਆਈ-ਚਾਲਤ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣ ਦੀ ਯੋਗਤਾ ਦਿੰਦੀ ਹੈ ਜੋ ਐਂਡਰਾਇਡ ਅਤੇ iOS ਡਿਵਾਈਸਾਂ 'ਤੇ ਨੈਟਿਵ ਤੌਰ 'ਤੇ ਚਲਦੀ ਹੈ।

### ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ
- .NET MAUI ਫਰੇਮਵਰਕ 'ਤੇ ਬਣਾਇਆ ਗਿਆ, ਜੋ ਐਂਡਰਾਇਡ ਅਤੇ iOS ਐਪਲੀਕੇਸ਼ਨ ਲਈ ਇੱਕ ਸਿੰਗਲ ਕੋਡਬੇਸ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ
- ONNX Runtime GenAI ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਜਨਰੇਟਿਵ ਏਆਈ ਮਾਡਲਾਂ ਨੂੰ ਸਿੱਧੇ ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ 'ਤੇ ਚਲਾਉਣ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ
- ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ ਲਈ CPU, GPU ਅਤੇ ਵਿਸ਼ੇਸ਼ ਮੋਬਾਈਲ ਏਆਈ ਪ੍ਰੋਸੈਸਰ ਸਮੇਤ ਵੱਖ-ਵੱਖ ਹਾਰਡਵੇਅਰ ਐਕਸਲੇਰੇਟਰਾਂ ਦਾ ਸਮਰਥਨ
- ONNX Runtime ਰਾਹੀਂ iOS ਲਈ CoreML ਅਤੇ ਐਂਡਰਾਇਡ ਲਈ NNAPI ਵਰਗੀਆਂ ਪਲੇਟਫਾਰਮ-ਵਿਸ਼ੇਸ਼ ਅਨੁਕੂਲਤਾਵਾਂ
- ਪੂਰੀ ਜਨਰੇਟਿਵ ਏਆਈ ਲੂਪ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਪ੍ਰੀ ਅਤੇ ਪੋਸਟ ਪ੍ਰੋਸੈਸਿੰਗ, ਇੰਫਰੈਂਸ, ਲੌਜਿਟਸ ਪ੍ਰੋਸੈਸਿੰਗ, ਖੋਜ ਅਤੇ ਸੈਂਪਲਿੰਗ, ਅਤੇ KV ਕੈਸ਼ ਪ੍ਰਬੰਧਨ ਸ਼ਾਮਲ ਹਨ

### ਵਿਕਾਸ ਦੇ ਫਾਇਦੇ
.NET MAUI ਪਹੁੰਚ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਆਪਣੇ ਮੌਜੂਦਾ C# ਅਤੇ .NET ਹੁਨਰਾਂ ਨੂੰ ਵਰਤਣ ਦੀ ਯੋਗਤਾ ਦਿੰਦੀ ਹੈ ਜਦੋਂ ਕਿ ਕ੍ਰਾਸ-ਪਲੇਟਫਾਰਮ ਏਆਈ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਈਆਂ ਜਾਂਦੀਆਂ ਹਨ। ONNX Runtime GenAI ਫਰੇਮਵਰਕ ਕਈ ਮਾਡਲ ਆਰਕੀਟੈਕਚਰਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਜਿਸ ਵਿੱਚ Llama, Mistral, Phi, Gemma ਅਤੇ ਹੋਰ ਕਈ ਸ਼ਾਮਲ ਹਨ। ਅਨੁਕੂਲਤ ARM64 ਕਰਨਲ INT4 ਮਾਤਰਾਤਮਕ ਮੈਟ੍ਰਿਕਸ ਗੁਣਾ ਨੂੰ ਤੇਜ਼ ਕਰਦੇ ਹਨ, ਮੋਬਾਈਲ ਹਾਰਡਵੇਅਰ 'ਤੇ ਕੁਸ਼ਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹਨ ਜਦੋਂ ਕਿ ਜਾਣ-ਪਛਾਣ ਵਾਲੇ .NET ਵਿਕਾਸ ਅਨੁਭਵ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦੇ ਹਨ।

### ਉਪਯੋਗ ਮਾਮਲੇ
ਇਹ ਹੱਲ ਉਹ ਡਿਵੈਲਪਰਾਂ ਲਈ ਆਦਰਸ਼ ਹੈ ਜੋ .NET ਤਕਨਾਲੋਜਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਏਆਈ-ਚਾਲਤ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹਨ, ਜਿਸ ਵਿੱਚ ਸਮਰੱਥ ਚੈਟਬੋਟ, ਚਿੱਤਰ ਪਛਾਣ ਐਪਸ, ਭਾਸ਼ਾ ਅਨੁਵਾਦ ਟੂਲ, ਅਤੇ ਵਿਅਕਤੀਗਤ ਸਿਫਾਰਸ਼ੀ ਪ੍ਰਣਾਲੀਆਂ ਸ਼ਾਮਲ ਹਨ ਜੋ ਵਧੇਰੇ ਗੋਪਨੀਯਤਾ ਅਤੇ ਆਫਲਾਈਨ ਯੋਗਤਾ ਲਈ ਪੂਰੀ ਤਰ੍ਹਾਂ ਡਿਵਾਈਸ 'ਤੇ ਚਲਦੀਆਂ ਹਨ।

**ਹੋਰ ਜਾਣੋ**: [.NET MAUI ONNX Runtime GenAI ਉਦਾਹਰਨ](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui)

## 3. Azure ਵਿੱਚ ਛੋਟੇ ਭਾਸ਼ਾ ਮਾਡਲ ਇੰਜਨ ਨਾਲ ਐਜ ਏਆਈ

Microsoft ਦਾ Azure-ਅਧਾਰਿਤ EdgeAI ਹੱਲ ਛੋਟੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (SLMs) ਨੂੰ ਕਲਾਉਡ-ਐਜ ਹਾਈਬ੍ਰਿਡ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਕੁਸ਼ਲਤਾਪੂਰਵਕ ਤੈਨਾਤ ਕਰਨ 'ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਿਤ ਕਰਦਾ ਹੈ। ਇਹ ਪਹੁੰਚ ਕਲਾਉਡ-ਪੈਮਾਨੇ ਦੇ ਏਆਈ ਸੇਵਾਵਾਂ ਅਤੇ ਐਜ ਤੈਨਾਤੀ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਦੇ ਵਿਚਕਾਰ ਪੂਲ ਬਣਾਉਂਦੀ ਹੈ।

### ਆਰਕੀਟੈਕਚਰ ਦੇ ਫਾਇਦੇ
- Azure AI ਸੇਵਾਵਾਂ ਨਾਲ ਬੇਰੋਕਟੋਕ ਇੰਟੀਗ੍ਰੇਸ਼ਨ
- ONNX Runtime ਨਾਲ SLMs/LLMs ਅਤੇ ਮਲਟੀ-ਮੋਡਲ ਮਾਡਲਾਂ ਨੂੰ ਡਿਵਾਈਸ 'ਤੇ ਅਤੇ ਕਲਾਉਡ ਵਿੱਚ ਚਲਾਓ
- ਉਦਯੋਗ-ਪੈਮਾਨੇ ਦੀ ਤੈਨਾਤੀ ਲਈ ਅਨੁਕੂਲਤ
- ਲਗਾਤਾਰ ਮਾਡਲ ਅਪਡੇਟ ਅਤੇ ਪ੍ਰਬੰਧਨ ਲਈ ਸਮਰਥਨ

### ਉਪਯੋਗ ਮਾਮਲੇ
Azure EdgeAI ਇੰਪਲੀਮੈਂਟੇਸ਼ਨ ਉਹ ਸਥਿਤੀਆਂ ਵਿੱਚ ਸ਼ਾਨਦਾਰ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਕਲਾਉਡ ਪ੍ਰਬੰਧਨ ਯੋਗਤਾਵਾਂ ਨਾਲ ਉਦਯੋਗ-ਗ੍ਰੇਡ ਏਆਈ ਤੈਨਾਤੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਵਿੱਚ ਸਮਰੱਥ ਦਸਤਾਵੇਜ਼ ਪ੍ਰੋਸੈਸਿੰਗ, ਰੀਅਲ-ਟਾਈਮ ਵਿਸ਼ਲੇਸ਼ਣ, ਅਤੇ ਹਾਈਬ੍ਰਿਡ ਏਆਈ ਵਰਕਫਲੋਜ਼ ਸ਼ਾਮਲ ਹਨ ਜੋ ਕਲਾਉਡ ਅਤੇ ਐਜ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਦੋਵਾਂ ਦਾ ਲਾਭ ਲੈਂਦੇ ਹਨ।

**ਹੋਰ ਜਾਣੋ**: [Azure EdgeAI SLM ਇੰਜਨ](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine)

## [4. Windows ML ਨਾਲ EdgeAI](./windowdeveloper.md)

Windows ML Microsoft ਦਾ ਕੱਟ-ਢੰਗ ਦਾ ਰਨਟਾਈਮ ਹੈ ਜੋ ਡਿਵਾਈਸ 'ਤੇ ਮਾਡਲ ਇੰਫਰੈਂਸ ਲਈ ਅਨੁਕੂਲਤ ਹੈ ਅਤੇ ਤੈਨਾਤੀ ਨੂੰ ਸਧਾਰਤ ਕਰਦਾ ਹੈ। ਇਹ Windows AI Foundry ਦਾ ਅਧਾਰ ਹੈ। ਇਹ ਪਲੇਟਫਾਰਮ ਡਿਵੈਲਪਰਾਂ ਨੂੰ Windows ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣ ਦੀ ਯੋਗਤਾ ਦਿੰਦਾ ਹੈ ਜੋ PC ਹਾਰਡਵੇਅਰ ਦੀ ਪੂਰੀ ਸ਼੍ਰੇਣੀ ਦਾ ਲਾਭ ਲੈਂਦੇ ਹਨ।

### ਪਲੇਟਫਾਰਮ ਸਮਰੱਥਾਵਾਂ
- ਸਾਰੇ Windows 11 PCs 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ ਜੋ ਵਰਜਨ 24H2 (ਬਿਲਡ 26100) ਜਾਂ ਵੱਧ 'ਤੇ ਚੱਲਦੇ ਹਨ
- ਸਾਰੇ x64 ਅਤੇ ARM64 PC ਹਾਰਡਵੇਅਰ 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ, ਭਾਵੇਂ PCs ਵਿੱਚ NPUs ਜਾਂ GPUs ਨਾ ਹੋਣ
- ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਆਪਣੇ ਮਾਡਲ ਲਿਆਉਣ ਅਤੇ AMD, Intel, NVIDIA ਅਤੇ Qualcomm ਸਮੇਤ CPU, GPU, NPU ਦੇ ਸਿਲਿਕਾਨ ਭਾਈਚਾਰਕ ਪ੍ਰਣਾਲੀ 'ਤੇ ਕੁਸ਼ਲਤਾਪੂਰਵਕ ਤੈਨਾਤ ਕਰਨ ਦੀ ਯੋਗਤਾ ਦਿੰਦਾ ਹੈ
- ਇੰਫਰਾਸਟਰਕਚਰ APIs ਦਾ ਲਾਭ ਲੈ ਕੇ, ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਸਿਲਿਕਾਨ ਨੂੰ ਟਾਰਗਟ ਕਰਨ ਲਈ ਆਪਣੇ ਐਪ ਦੀਆਂ ਕਈ ਬਿਲਡ ਬਣਾਉਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ

### ਡਿਵੈਲਪਰ ਦੇ ਫਾਇਦੇ
Windows ML ਹਾਰਡਵੇਅਰ ਅਤੇ ਐਗਜ਼ਿਕਿਊਸ਼ਨ ਪ੍ਰਦਾਤਾਵਾਂ ਨੂੰ ਅਬਸਟਰੈਕਟ ਕਰਦਾ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਆਪਣੇ ਕੋਡ ਲਿਖਣ 'ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਿਤ ਕਰ ਸਕੋ। ਇਸ ਤੋਂ ਇਲਾਵਾ, Windows ML ਨਵੇਂ NPUs, GPUs, ਅਤੇ CPUs ਦੇ ਜਾਰੀ ਹੋਣ 'ਤੇ ਸਵੈਚਾਲਿਤ ਤੌਰ 'ਤੇ ਅਪਡੇਟ ਹੁੰਦਾ ਹੈ। ਪਲੇਟਫਾਰਮ Windows ਹਾਰਡਵੇਅਰ ਭਾਈਚਾਰਕ ਪ੍ਰਣਾਲੀ 'ਤੇ ਏਆਈ ਵਿਕਾਸ ਲਈ ਇੱਕ ਇਕਰੂਪ ਫਰੇਮਵਰਕ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

**ਹੋਰ ਜਾਣੋ**: 
- [Windows ML ਝਲਕ](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview)
- [Windows EdgeAI ਵਿਕਾਸ ਗਾਈਡ](./windowdeveloper.md) - Windows Edge AI ਵਿਕਾਸ ਲਈ ਵਿਸਥਾਰਤ ਗਾਈਡ

## [5. Foundry Local Applications ਨਾਲ EdgeAI](./foundrylocal.md)

Foundry Local Windows ਅਤੇ Mac ਡਿਵੈਲਪਰਾਂ ਨੂੰ .NET ਵਿੱਚ Retrieval Augmented Generation (RAG) ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣ ਦੀ ਯੋਗਤਾ ਦਿੰਦਾ ਹੈ, ਜੋ ਸਥਾਨਕ ਸਰੋਤਾਂ ਨੂੰ ਸੈਮੈਂਟਿਕ ਖੋਜ ਯੋਗਤਾਵਾਂ ਨਾਲ ਜੋੜਦਾ ਹੈ। ਇਹ ਪਹੁੰਚ ਗੋਪਨੀਯਤਾ-ਕੇਂਦ੍ਰਿਤ ਏਆਈ ਹੱਲ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ ਜੋ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਥਾਨਕ ਬੁਨਿਆਦ 'ਤੇ ਕੰਮ ਕਰਦੀ ਹੈ।

### ਤਕਨੀਕੀ ਆਰਕੀਟੈਕਚਰ
- Phi ਭਾਸ਼ਾ ਮਾਡਲ, ਸਥਾਨਕ ਐਮਬੈਡਿੰਗਜ਼, ਅਤੇ ਸੈਮੈਂਟਿਕ Kernel ਨੂੰ ਜੋੜ ਕੇ RAG ਸਥਿਤੀ ਬਣਾਉਂਦਾ ਹੈ
- ਸਮੱਗਰੀ ਅਤੇ ਇਸਦੇ ਸੈਮੈਂਟਿਕ ਅਰਥ ਨੂੰ ਦਰਸਾਉਣ ਵਾਲੇ ਫਲੋਟਿੰਗ-ਪੌਇੰਟ ਮੁੱਲਾਂ ਦੇ ਐਰੇ (ਵੇਕਟਰ) ਵਜੋਂ ਐਮਬੈਡਿੰਗਜ਼ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ
- ਸੈਮੈਂਟਿਕ Kernel ਮੁੱਖ ਆਰਕੈਸਟਰੇਟਰ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ, Phi ਅਤੇ Smart Components ਨੂੰ ਜੋੜ ਕੇ ਇੱਕ ਸਹੀ RAG ਪਾਈਪਲਾਈਨ ਬਣਾਉਂਦਾ ਹੈ
- ਸਥਾਨਕ ਵੇਕਟਰ ਡਾਟਾਬੇਸਾਂ ਲਈ ਸਮਰਥਨ, ਜਿਸ ਵਿੱਚ SQLite ਅਤੇ Qdrant ਸ਼ਾਮਲ ਹਨ

### ਲਾਗੂ ਕਰਨ ਦੇ ਫਾਇਦੇ
RAG, ਜਾਂ Retrieval Augmented Generation, ਸਿਰਫ "ਕੁਝ ਚੀਜ਼ਾਂ ਨੂੰ ਖੋਜੋ ਅਤੇ ਇਸਨੂੰ ਪ੍ਰੰਪਟ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੋ" ਦਾ ਇੱਕ ਸਧਾਰਨ ਤਰੀਕਾ ਹੈ। ਇਹ ਸਥਾਨਕ ਇੰਪਲੀਮੈਂਟੇਸ਼ਨ ਡਾਟਾ ਗੋਪਨੀਯਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਕਸਟਮ ਨੋਲੇਜ ਬੇਸਾਂ 'ਤੇ ਅਧਾਰਿਤ ਸਮਰੱਥ ਜਵਾਬ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਹ ਪਹੁੰਚ ਖਾਸ ਤੌਰ 'ਤੇ ਉਹਨਾਂ ਉਦਯੋਗਕ ਸਥਿਤੀਆਂ ਲਈ ਮੁੱਲਵਾਨ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਡਾਟਾ ਸਾਰਵਭੌਮਤਾ ਅਤੇ ਆਫਲਾਈਨ ਕਾਰਜਸ਼ੀਲਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

**ਹੋਰ ਜਾਣੋ**: 
- [Foundry Local](./foundrylocal.md)
- [Foundry Local RAG ਸੈਂਪਲ](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag)

### Windows Foundry Local

Microsoft Foundry Local Windows 'ਤੇ ਮਾਡਲਾਂ ਨੂੰ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਚਲਾਉਣ ਲਈ ONNX Runtime ਦੁਆਰਾ ਸੰਚਾਲਿਤ OpenAI-ਅਨੁਕੂਲ REST ਸਰਵਰ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਹੇਠਾਂ ਇੱਕ ਤੇਜ਼, ਪ੍ਰਮਾਣਿਤ ਸਾਰ ਹੈ; ਪੂਰੇ ਵੇਰਵੇ ਲਈ ਅਧਿਕਾਰਤ ਦਸਤਾਵੇਜ਼ ਵੇਖੋ।

- ਸ਼ੁਰੂ ਕਰੋ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started
- ਆਰਕੀਟੈਕਚਰ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
- CLI ਰੈਫਰੈਂਸ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli
- ਇਸ ਰਿਪੋ ਵਿੱਚ ਪੂਰੀ Windows ਗਾਈਡ: [foundrylocal.md](./foundrylocal.md)

Windows 'ਤੇ ਇੰਸਟਾਲ ਜਾਂ ਅਪਗ੍ਰੇਡ ਕਰੋ (cmd.exe):
```cmd
winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version
```

CLI ਸ਼੍ਰੇਣੀਆਂ ਦੀ ਜਾਂਚ ਕਰੋ:
```cmd
foundry model --help
foundry service --help
foundry cache --help
```

ਮਾਡਲ ਚਲਾਓ ਅਤੇ ਡਾਇਨਾਮਿਕ ਐਂਡਪੌਇੰਟ ਦੀ ਖੋਜ ਕਰੋ:
```cmd
foundry model run gpt-oss-20b
foundry service status
```

ਮਾਡਲਾਂ ਦੀ ਸੂਚੀ ਦੇਖਣ ਲਈ ਤੇਜ਼ REST ਚੈੱਕ (STATUS ਤੋਂ PORT ਬਦਲੋ):
```cmd
curl -s http://localhost:PORT/v1/models
```

ਸੁਝਾਅ:
- SDK ਇੰਟੀਗ੍ਰੇਸ਼ਨ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
- ਆਪਣਾ ਮਾਡਲ ਲਿਆਓ (ਕੰਪਾਇਲ ਕਰੋ): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models

## Windows EdgeAI ਵਿਕਾਸ ਸਰੋਤ

ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ Windows ਪਲੇਟਫਾਰਮ ਨੂੰ ਟਾਰਗਟ ਕਰਨ ਵਾਲੇ ਡਿਵੈਲਪਰਾਂ ਲਈ, ਅਸੀਂ ਇੱਕ ਵਿਸਥਾਰਤ ਗਾਈਡ ਬਣਾਈ ਹੈ ਜੋ ਪੂਰੇ Windows EdgeAI ਭਾਈਚਾਰਕ ਪ੍ਰਣਾਲੀ ਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ। ਇਹ ਸਰੋਤ Windows AI Foundry, APIs, ਟੂਲ, ਅਤੇ Windows 'ਤੇ EdgeAI ਵਿਕਾਸ ਲਈ ਸ੍ਰੇਸ਼ਠ ਅਭਿਆਸਾਂ ਬਾਰੇ ਵਿਸਥਾਰਤ ਜਾਣਕਾਰੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

### Windows AI Foundry ਪਲੇਟਫਾਰਮ
Windows AI Foundry ਪਲੇਟਫਾਰਮ Windows ਡਿਵਾਈਸਾਂ 'ਤੇ Edge AI ਵਿਕਾਸ ਲਈ ਖਾਸ ਤੌਰ 'ਤੇ ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਟੂਲ ਅਤੇ APIs ਦੀ ਇੱਕ ਵਿਸਥਾਰਤ ਸੂਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਸ ਵਿੱਚ NPU-ਐਕਸਲੇਰੇਟਡ ਹਾਰਡ

---

**ਅਸਵੀਕਰਤੀ**:  
ਇਹ ਦਸਤਾਵੇਜ਼ AI ਅਨੁਵਾਦ ਸੇਵਾ [Co-op Translator](https://github.com/Azure/co-op-translator) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ। ਹਾਲਾਂਕਿ ਅਸੀਂ ਸਹੀਅਤਾ ਲਈ ਯਤਨਸ਼ੀਲ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਦਿਓ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸੁਚਤਤਾਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਇਸ ਦੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਮੌਜੂਦ ਅਸਲ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਅਧਿਕਾਰਤ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਅਨੁਵਾਦ ਦੀ ਵਰਤੋਂ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਅਸੀਂ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ।