# ಅಧ್ಯಾಯ 07 : ಎಡ್ಜ್‌ಎಐ ಮಾದರಿಗಳು

ಎಡ್ಜ್ ಎಐ ಎಂದರೆ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆಯು ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಜೊತೆಗೆ ಸಂಯೋಜನೆಯಾಗಿದ್ದು, ಕ್ಲೌಡ್ ಸಂಪರ್ಕದ ಅವಲಂಬನೆ ಇಲ್ಲದೆ ಸಾಧನಗಳ ಮೇಲೆ ನೇರವಾಗಿ ಬುದ್ಧಿವಂತಿಕೆ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಸಾಧ್ಯಮಾಡುತ್ತದೆ. ಈ ಅಧ್ಯಾಯವು ವಿಭಿನ್ನ ವೇದಿಕೆಗಳು ಮತ್ತು ಫ್ರೇಮ್ವರ್ಕ್‌ಗಳ ಮೇಲೆ ಐದು ವಿಭಿನ್ನ ಎಡ್ಜ್‌ಎಐ ಅನುಷ್ಠಾನಗಳನ್ನು ಅನ್ವೇಷಿಸುತ್ತದೆ, ಎಡ್ಜ್‌ನಲ್ಲಿ ಎಐ ಮಾದರಿಗಳನ್ನು ಚಾಲನೆ ಮಾಡುವ ವೈವಿಧ್ಯಮಯತೆ ಮತ್ತು ಶಕ್ತಿಯನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ.

## 1. NVIDIA ಜೆಟ್ಸನ್ ಓರಿನ್ ನ್ಯಾನೋದಲ್ಲಿ ಎಡ್ಜ್‌ಎಐ

NVIDIA ಜೆಟ್ಸನ್ ಓರಿನ್ ನ್ಯಾನೋ ಸುಲಭವಾಗಿ ಲಭ್ಯವಿರುವ ಎಡ್ಜ್ ಎಐ ಕಂಪ್ಯೂಟಿಂಗ್‌ನಲ್ಲಿ ಕ್ರಾಂತಿ, 67 TOPS ವರೆಗೆ ಎಐ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಕ್ರೆಡಿಟ್-ಕಾರ್ಡ್ ಗಾತ್ರದ ಸಣ್ಣ ರೂಪದಲ್ಲಿ ಒದಗಿಸುತ್ತದೆ. ಈ ಶಕ್ತಿಶಾಲಿ ಎಡ್ಜ್ ಎಐ ವೇದಿಕೆ ಹವ್ಯಾಸಿಗಳು, ವಿದ್ಯಾರ್ಥಿಗಳು ಮತ್ತು ವೃತ್ತಿಪರ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗಾಗಿ ಜನರೇಟಿವ್ ಎಐ ಅಭಿವೃದ್ಧಿಯನ್ನು ಪ್ರಜಾಪ್ರಭುತ್ವಗೊಳಿಸುತ್ತದೆ.

### ಪ್ರಮುಖ ವೈಶಿಷ್ಟ್ಯಗಳು
- 67 TOPS ವರೆಗೆ ಎಐ ಕಾರ್ಯಕ್ಷಮತೆ ಒದಗಿಸುತ್ತದೆ—ಹಿಂದಿನದಿಗಿಂತ 1.7 ಪಟ್ಟು ಸುಧಾರಣೆ
- 1024 CUDA ಕೋರ್‌ಗಳು ಮತ್ತು ಎಐ ಪ್ರಕ್ರಿಯೆಗೆ 32 ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು
- 6-ಕೋರ್ ಆರ್ಮ್ ಕಾರ್ಟೆಕ್ಸ್-A78AE v8.2 64-ಬಿಟ್ CPU ಗರಿಷ್ಠ 1.5 GHz ಫ್ರೀಕ್ವೆನ್ಸಿಯೊಂದಿಗೆ
- ಕೇವಲ $249 ದರದಲ್ಲಿ, ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರು, ವಿದ್ಯಾರ್ಥಿಗಳು ಮತ್ತು ನಿರ್ಮಾಪಕರಿಗೆ ಅತ್ಯಂತ ಆರ್ಥಿಕ ಮತ್ತು ಸುಲಭ ಲಭ್ಯವಿರುವ ವೇದಿಕೆ

### ಅನ್ವಯಿಕೆಗಳು
ಜೆಟ್ಸನ್ ಓರಿನ್ ನ್ಯಾನೋ ದೃಷ್ಟಿ ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್‌ಗಳು, ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು ಮತ್ತು ದೃಷ್ಟಿ-ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಒಳಗೊಂಡ ಆಧುನಿಕ ಜನರೇಟಿವ್ ಎಐ ಮಾದರಿಗಳನ್ನು ಚಾಲನೆ ಮಾಡಲು ಅತ್ಯುತ್ತಮವಾಗಿದೆ. ಇದು ವಿಶೇಷವಾಗಿ ಜನರೇಟಿವ್ ಎಐ ಬಳಕೆ ಪ್ರಕರಣಗಳಿಗೆ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ ಮತ್ತು ಈಗ ನೀವು ಹಲವಾರು LLMಗಳನ್ನು ಕೈಯಲ್ಲಿ ಹಿಡಿದ ಸಾಧನದಲ್ಲಿ ಚಾಲನೆ ಮಾಡಬಹುದು. ಜನಪ್ರಿಯ ಬಳಕೆ ಪ್ರಕರಣಗಳಲ್ಲಿ ಎಐ ಚಾಲಿತ ರೋಬೋಟಿಕ್ಸ್, ಸ್ಮಾರ್ಟ್ ಡ್ರೋನ್ಗಳು, ಬುದ್ಧಿವಂತ ಕ್ಯಾಮೆರಾಗಳು ಮತ್ತು ಸ್ವಯಂಚಾಲಿತ ಎಡ್ಜ್ ಸಾಧನಗಳು ಸೇರಿವೆ.

**ಹೆಚ್ಚು ತಿಳಿದುಕೊಳ್ಳಿ**: [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62)

## 2. .NET MAUI ಮತ್ತು ONNX ರನ್‌ಟೈಮ್ ಜನರೇಟಿವ್ ಎಐ ಬಳಸಿ ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ ಎಡ್ಜ್‌ಎಐ

ಈ ಪರಿಹಾರವು .NET MAUI (ಮಲ್ಟಿ-ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಅಪ್ಲಿಕೇಶನ್ UI) ಮತ್ತು ONNX ರನ್‌ಟೈಮ್ ಜನರೇಟಿವ್ ಎಐ ಬಳಸಿ ಜನರೇಟಿವ್ ಎಐ ಮತ್ತು ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (LLMs) ಕ್ರಾಸ್-ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ ಏಕರೂಪಗೊಳಿಸುವುದನ್ನು ತೋರಿಸುತ್ತದೆ. ಈ ವಿಧಾನವು .NET ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ ಆಂಡ್ರಾಯ್ಡ್ ಮತ್ತು iOS ಸಾಧನಗಳಲ್ಲಿ ಸ್ಥಳೀಯವಾಗಿ ಚಾಲನೆ ಮಾಡುವ ಸುಧಾರಿತ ಎಐ ಚಾಲಿತ ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಸಾಧ್ಯಮಾಡುತ್ತದೆ.

### ಪ್ರಮುಖ ವೈಶಿಷ್ಟ್ಯಗಳು
- .NET MAUI ಫ್ರೇಮ್ವರ್ಕ್ ಮೇಲೆ ನಿರ್ಮಿತವಾಗಿದೆ, ಆಂಡ್ರಾಯ್ಡ್ ಮತ್ತು iOS ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ ಏಕ ಕೋಡ್‌ಬೇಸ್ ಒದಗಿಸುತ್ತದೆ
- ONNX ರನ್‌ಟೈಮ್ ಜನರೇಟಿವ್ ಎಐ ಏಕರೂಪಗೊಳಿಸುವಿಕೆ ಮೊಬೈಲ್ ಸಾಧನಗಳಲ್ಲಿ ನೇರವಾಗಿ ಜನರೇಟಿವ್ ಎಐ ಮಾದರಿಗಳನ್ನು ಚಾಲನೆ ಮಾಡಲು ಸಾಧ್ಯಮಾಡುತ್ತದೆ
- CPU, GPU ಮತ್ತು ವಿಶೇಷ ಮೊಬೈಲ್ ಎಐ ಪ್ರೊಸೆಸರ್‌ಗಳನ್ನು ಒಳಗೊಂಡ ವಿವಿಧ ಹಾರ್ಡ್‌ವೇರ್ ವೇಗವರ್ಧಕಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ
- iOS ಗೆ CoreML ಮತ್ತು ಆಂಡ್ರಾಯ್ಡ್ ಗೆ NNAPI ಮೂಲಕ ವೇದಿಕೆ-ನಿರ್ದಿಷ್ಟ ಆಪ್ಟಿಮೈಜೇಶನ್‌ಗಳು ONNX ರನ್‌ಟೈಮ್ ಮೂಲಕ
- ಪೂರ್ಣ ಜನರೇಟಿವ್ ಎಐ ಲೂಪ್ ಅನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸುತ್ತದೆ, ಇದರಲ್ಲಿ ಪೂರ್ವ ಮತ್ತು ನಂತರದ ಪ್ರಕ್ರಿಯೆ, ನಿರ್ಣಯ, ಲಾಜಿಟ್ ಪ್ರಕ್ರಿಯೆ, ಹುಡುಕಾಟ ಮತ್ತು ಮಾದರಿ ಆಯ್ಕೆ, ಮತ್ತು KV ಕ್ಯಾಶೆ ನಿರ್ವಹಣೆ ಸೇರಿವೆ

### ಅಭಿವೃದ್ಧಿ ಲಾಭಗಳು
.NET MAUI ವಿಧಾನವು ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ ತಮ್ಮ ಇತ್ತೀಚಿನ C# ಮತ್ತು .NET ಕೌಶಲ್ಯಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಕ್ರಾಸ್-ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಎಐ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ. ONNX ರನ್‌ಟೈಮ್ ಜನರೇಟಿವ್ ಎಐ ಫ್ರೇಮ್ವರ್ಕ್ Llama, Mistral, Phi, Gemma ಮತ್ತು ಇತರ ಅನೇಕ ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಆಪ್ಟಿಮೈಜ್ಡ್ ARM64 ಕರ್ಣೆಲ್‌ಗಳು INT4 ಪ್ರಮಾಣೀಕೃತ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರವನ್ನು ವೇಗವರ್ಧನೆ ಮಾಡುತ್ತವೆ, ಮೊಬೈಲ್ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಪರಿಣಾಮಕಾರಿತ್ವವನ್ನು ಖಚಿತಪಡಿಸುತ್ತವೆ ಮತ್ತು ಪರಿಚಿತ .NET ಅಭಿವೃದ್ಧಿ ಅನುಭವವನ್ನು ಉಳಿಸುತ್ತವೆ.

### ಬಳಕೆ ಪ್ರಕರಣಗಳು
ಈ ಪರಿಹಾರವು .NET ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಎಐ ಚಾಲಿತ ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಬಯಸುವ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ ಸೂಕ್ತವಾಗಿದೆ, ಇದರಲ್ಲಿ ಬುದ್ಧಿವಂತ ಚಾಟ್‌ಬಾಟ್‌ಗಳು, ಚಿತ್ರ ಗುರುತಿಸುವ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು, ಭಾಷಾ ಅನುವಾದ ಸಾಧನಗಳು ಮತ್ತು ವೈಯಕ್ತಿಕ ಶಿಫಾರಸು ವ್ಯವಸ್ಥೆಗಳು ಸೇರಿವೆ, ಇವು ಸಂಪೂರ್ಣವಾಗಿ ಸಾಧನದಲ್ಲಿ ಚಾಲನೆ ಆಗುತ್ತವೆ ಮತ್ತು ಗೌಪ್ಯತೆ ಮತ್ತು ಆಫ್‌ಲೈನ್ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೆಚ್ಚಿಸುತ್ತವೆ.

**ಹೆಚ್ಚು ತಿಳಿದುಕೊಳ್ಳಿ**: [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui)

## 3. ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿ ಎಂಜಿನ್ ಜೊತೆಗೆ ಅಜೂರ್‌ನಲ್ಲಿ ಎಡ್ಜ್‌ಎಐ

ಮೈಕ್ರೋಸಾಫ್ಟ್‌ನ ಅಜೂರ್ ಆಧಾರಿತ ಎಡ್ಜ್‌ಎಐ ಪರಿಹಾರವು ಕ್ಲೌಡ್-ಎಡ್ಜ್ ಸಂಯೋಜಿತ ಪರಿಸರಗಳಲ್ಲಿ ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (SLMs) ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿಯೋಜಿಸುವುದರ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿದೆ. ಈ ವಿಧಾನವು ಕ್ಲೌಡ್-ಮಟ್ಟದ ಎಐ ಸೇವೆಗಳು ಮತ್ತು ಎಡ್ಜ್ ನಿಯೋಜನೆ ಅಗತ್ಯಗಳ ನಡುವಿನ ಅಂತರವನ್ನು ಸೇತುವೆ ಮಾಡುತ್ತದೆ.

### ವಾಸ್ತುಶಿಲ್ಪದ ಲಾಭಗಳು
- ಅಜೂರ್ ಎಐ ಸೇವೆಗಳೊಂದಿಗೆ ನಿರಂತರ ಏಕೀಕರಣ
- ONNX ರನ್‌ಟೈಮ್ ಮೂಲಕ ಸಾಧನ ಮತ್ತು ಕ್ಲೌಡ್‌ನಲ್ಲಿ SLMs/LLMs ಮತ್ತು ಬಹು-ಮಾದರಿ ಮಾದರಿಗಳನ್ನು ಚಾಲನೆ ಮಾಡುವುದು
- ಉದ್ಯಮ-ಮಟ್ಟದ ನಿಯೋಜನೆಗೆ ಆಪ್ಟಿಮೈಜ್ಡ್
- ನಿರಂತರ ಮಾದರಿ ನವೀಕರಣ ಮತ್ತು ನಿರ್ವಹಣೆಗೆ ಬೆಂಬಲ

### ಬಳಕೆ ಪ್ರಕರಣಗಳು
ಅಜೂರ್ ಎಡ್ಜ್‌ಎಐ ಅನುಷ್ಠಾನವು ಉದ್ಯಮ-ಮಟ್ಟದ ಎಐ ನಿಯೋಜನೆ ಮತ್ತು ಕ್ಲೌಡ್ ನಿರ್ವಹಣಾ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಅಗತ್ಯವಿರುವ ಸಂದರ್ಭಗಳಲ್ಲಿ ಅತ್ಯುತ್ತಮವಾಗಿದೆ. ಇದರಲ್ಲಿ ಬುದ್ಧಿವಂತ ದಾಖಲೆ ಪ್ರಕ್ರಿಯೆ, ರಿಯಲ್-ಟೈಮ್ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಕ್ಲೌಡ್ ಮತ್ತು ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಬಳಸುವ ಸಂಯುಕ್ತ ಎಐ ಕಾರ್ಯಪ್ರವಾಹಗಳು ಸೇರಿವೆ.

**ಹೆಚ್ಚು ತಿಳಿದುಕೊಳ್ಳಿ**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine)

## [4. ವಿಂಡೋಸ್ ML ಜೊತೆಗೆ ಎಡ್ಜ್‌ಎಐ](./windowdeveloper.md)

ವಿಂಡೋಸ್ ML ಮೈಕ್ರೋಸಾಫ್ಟ್‌ನ ಅತ್ಯಾಧುನಿಕ ರನ್‌ಟೈಮ್ ಆಗಿದ್ದು, ಸಾಧನದಲ್ಲಿ ಮಾದರಿ ನಿರ್ಣಯಕ್ಕಾಗಿ ಆಪ್ಟಿಮೈಜ್ ಮಾಡಲಾಗಿದೆ ಮತ್ತು ಸರಳ ನಿಯೋಜನೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ, ಇದು ವಿಂಡೋಸ್ ಎಐ ಫೌಂಡ್ರಿಯ ಮೂಲವಾಗಿದೆ. ಈ ವೇದಿಕೆ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ ಪಿಸಿ ಹಾರ್ಡ್‌ವೇರ್ ಸಂಪೂರ್ಣ ಶ್ರೇಣಿಯನ್ನು ಬಳಸಿಕೊಂಡು ಎಐ ಚಾಲಿತ ವಿಂಡೋಸ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ರಚಿಸಲು ಸಾಧ್ಯಮಾಡುತ್ತದೆ.

### ವೇದಿಕೆ ಸಾಮರ್ಥ್ಯಗಳು
- 24H2 (ಬಿಲ್ಡ್ 26100) ಅಥವಾ ಹೆಚ್ಚಿನ ಆವೃತ್ತಿಯ ಎಲ್ಲಾ ವಿಂಡೋಸ್ 11 ಪಿಸಿಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ
- ಎಲ್ಲಾ x64 ಮತ್ತು ARM64 ಪಿಸಿ ಹಾರ್ಡ್‌ವೇರ್‌ಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, NPU ಅಥವಾ GPU ಇಲ್ಲದ ಪಿಸಿಗಳಲ್ಲಿಯೂ ಸಹ
- ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ ತಮ್ಮ ಮಾದರಿಗಳನ್ನು ತಂದು, AMD, ಇಂಟೆಲ್, NVIDIA ಮತ್ತು Qualcomm ಸೇರಿದಂತೆ ಸಿಲಿಕಾನ್ ಪಾಲುದಾರರ ಪರಿಸರದಲ್ಲಿ CPU, GPU, NPU ಗಳಲ್ಲಿ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿಯೋಜಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ
- ಮೂಲಸೌಕರ್ಯ API ಗಳನ್ನು ಬಳಸಿಕೊಂಡು, ವಿವಿಧ ಸಿಲಿಕಾನ್ ಗುರಿಯಾಗಿರುವ ಅಪ್ಲಿಕೇಶನ್‌ಗಳ ಅನೇಕ ಬಿಲ್ಡ್‌ಗಳನ್ನು ರಚಿಸುವ ಅಗತ್ಯವಿಲ್ಲ

### ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರ ಲಾಭಗಳು
ವಿಂಡೋಸ್ ML ಹಾರ್ಡ್‌ವೇರ್ ಮತ್ತು ಕಾರ್ಯಗತಗೊಳಿಸುವುದನ್ನು ಅಬ್ಸ್ಟ್ರಾಕ್ಟ್ ಮಾಡುತ್ತದೆ, ಆದ್ದರಿಂದ ನೀವು ನಿಮ್ಮ ಕೋಡ್ ಬರೆಯುವುದರಲ್ಲಿ ಗಮನಹರಿಸಬಹುದು. ಜೊತೆಗೆ, ವಿಂಡೋಸ್ ML ಹೊಸ NPU, GPU ಮತ್ತು CPU ಗಳನ್ನು ಬಿಡುಗಡೆಗೊಳ್ಳುವಂತೆ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ನವೀಕರಿಸುತ್ತದೆ. ಈ ವೇದಿಕೆ ವಿಭಿನ್ನ ವಿಂಡೋಸ್ ಹಾರ್ಡ್‌ವೇರ್ ಪರಿಸರದಲ್ಲಿ ಎಐ ಅಭಿವೃದ್ಧಿಗೆ ಏಕೀಕೃತ ಫ್ರೇಮ್ವರ್ಕ್ ಒದಗಿಸುತ್ತದೆ.

**ಹೆಚ್ಚು ತಿಳಿದುಕೊಳ್ಳಿ**: 
- [Windows ML ಅವಲೋಕನ](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview)
- [Windows EdgeAI ಅಭಿವೃದ್ಧಿ ಮಾರ್ಗದರ್ಶಿ](./windowdeveloper.md) - ವಿಂಡೋಸ್ ಎಡ್ಜ್ ಎಐ ಅಭಿವೃದ್ಧಿಗೆ ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿ

## [5. ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳೊಂದಿಗೆ ಎಡ್ಜ್‌ಎಐ](./foundrylocal.md)

ಫೌಂಡ್ರಿ ಲೋಕಲ್ ವಿಂಡೋಸ್ ಮತ್ತು ಮ್ಯಾಕ್ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ .NET ನಲ್ಲಿ ಸ್ಥಳೀಯ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಬಳಸಿಕೊಂಡು ರಿಟ್ರಿವಲ್ ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಶನ್ (RAG) ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ, ಸ್ಥಳೀಯ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು ಸಾಂದರ್ಭಿಕ ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯಗಳೊಂದಿಗೆ ಸಂಯೋಜಿಸುತ್ತದೆ. ಈ ವಿಧಾನವು ಸಂಪೂರ್ಣವಾಗಿ ಸ್ಥಳೀಯ ಮೂಲಸೌಕರ್ಯದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಗೌಪ್ಯತೆ-ಕೇಂದ್ರೀಕೃತ ಎಐ ಪರಿಹಾರಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.

### ತಾಂತ್ರಿಕ ವಾಸ್ತುಶಿಲ್ಪ
- Phi ಭಾಷಾ ಮಾದರಿ, ಸ್ಥಳೀಯ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳು ಮತ್ತು ಸಾಂದರ್ಭಿಕ ಕರ್ಣವನ್ನು ಸಂಯೋಜಿಸಿ RAG ದೃಶ್ಯಾವಳಿಯನ್ನು ರಚಿಸುತ್ತದೆ
- ವಿಷಯ ಮತ್ತು ಅದರ ಸಾಂದರ್ಭಿಕ ಅರ್ಥವನ್ನು ಪ್ರತಿನಿಧಿಸುವ ಫ್ಲೋಟಿಂಗ್-ಪಾಯಿಂಟ್ ಮೌಲ್ಯಗಳ ಸರಣಿಗಳಾಗಿ ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ
- ಸಾಂದರ್ಭಿಕ ಕರ್ಣ ಮುಖ್ಯ ಸಂಯೋಜಕನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಿ Phi ಮತ್ತು ಸ್ಮಾರ್ಟ್ ಘಟಕಗಳನ್ನು ಏಕರೂಪಗೊಳಿಸಿ ನಿರಂತರ RAG ಪೈಪ್‌ಲೈನ್ ರಚಿಸುತ್ತದೆ
- SQLite ಮತ್ತು Qdrant ಸೇರಿದಂತೆ ಸ್ಥಳೀಯ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್‌ಗಳಿಗೆ ಬೆಂಬಲ

### ಅನುಷ್ಠಾನ ಲಾಭಗಳು
RAG ಅಥವಾ ರಿಟ್ರಿವಲ್ ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಶನ್ ಎಂದರೆ "ಕೆಲವು ವಿಷಯಗಳನ್ನು ಹುಡುಕಿ ಪ್ರಾಂಪ್ಟ್‌ಗೆ ಸೇರಿಸುವುದು" ಎಂಬ ಅರ್ಥ. ಈ ಸ್ಥಳೀಯ ಅನುಷ್ಠಾನವು ಡೇಟಾ ಗೌಪ್ಯತೆಯನ್ನು ಖಚಿತಪಡಿಸುವುದರ ಜೊತೆಗೆ ಕಸ್ಟಮ್ ಜ್ಞಾನ ಆಧಾರಿತ ಬುದ್ಧಿವಂತ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ. ಈ ವಿಧಾನವು ಡೇಟಾ ಸ್ವಾಯತ್ತತೆ ಮತ್ತು ಆಫ್‌ಲೈನ್ ಕಾರ್ಯಾಚರಣಾ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಅಗತ್ಯವಿರುವ ಉದ್ಯಮ ಸಂದರ್ಭಗಳಿಗೆ ವಿಶೇಷವಾಗಿ ಮೌಲ್ಯಯುತವಾಗಿದೆ.

**ಹೆಚ್ಚು ತಿಳಿದುಕೊಳ್ಳಿ**: 
- [Foundry Local](./foundrylocal.md)
- [Foundry Local RAG ಮಾದರಿಗಳು](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag)

### ವಿಂಡೋಸ್ ಫೌಂಡ್ರಿ ಲೋಕಲ್

ಮೈಕ್ರೋಸಾಫ್ಟ್ ಫೌಂಡ್ರಿ ಲೋಕಲ್ ONNX ರನ್‌ಟೈಮ್ ಮೂಲಕ ವಿಂಡೋಸ್‌ನಲ್ಲಿ ಮಾದರಿಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಚಾಲನೆ ಮಾಡಲು OpenAI-ಸಮ್ಮತ REST ಸರ್ವರ್ ಒದಗಿಸುತ್ತದೆ. ಕೆಳಗಿನದು ಸಂಕ್ಷಿಪ್ತ, ಪರಿಶೀಲಿತ ಸಾರಾಂಶ; ಸಂಪೂರ್ಣ ವಿವರಗಳಿಗೆ ಅಧಿಕೃತ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ನೋಡಿ.

- ಪ್ರಾರಂಭಿಸಿ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started
- ವಾಸ್ತುಶಿಲ್ಪ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
- CLI ಉಲ್ಲೇಖ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli
- ಈ ರೆಪೊದಲ್ಲಿ ಸಂಪೂರ್ಣ ವಿಂಡೋಸ್ ಮಾರ್ಗದರ್ಶಿ: [foundrylocal.md](./foundrylocal.md)

ವಿಂಡೋಸ್‌ನಲ್ಲಿ ಸ್ಥಾಪನೆ ಅಥವಾ ನವೀಕರಣ (cmd.exe):
```cmd
winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version
```

CLI ವರ್ಗಗಳನ್ನು ಅನ್ವೇಷಿಸಿ:
```cmd
foundry model --help
foundry service --help
foundry cache --help
```

ಮಾದರಿಯನ್ನು ಚಾಲನೆ ಮಾಡಿ ಮತ್ತು ಡೈನಾಮಿಕ್ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ಕಂಡುಹಿಡಿಯಿರಿ:
```cmd
foundry model run gpt-oss-20b
foundry service status
```

ಮಾದರಿಗಳ ಪಟ್ಟಿಯನ್ನು ತೋರಿಸಲು ತ್ವರಿತ REST ಪರಿಶೀಲನೆ (ಸ್ಥಿತಿಯಿಂದ PORT ಅನ್ನು ಬದಲಾಯಿಸಿ):
```cmd
curl -s http://localhost:PORT/v1/models
```

ಸೂಚನೆಗಳು:
- SDK ಏಕರೂಪಗೊಳಿಸುವಿಕೆ: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
- ನಿಮ್ಮ ಮಾದರಿಯನ್ನು ತಂದು (ಕಂಪೈಲ್): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models

## ವಿಂಡೋಸ್ ಎಡ್ಜ್‌ಎಐ ಅಭಿವೃದ್ಧಿ ಸಂಪನ್ಮೂಲಗಳು

ವಿಂಡೋಸ್ ವೇದಿಕೆಯನ್ನು ಗುರಿಯಾಗಿಸಿಕೊಂಡಿರುವ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ, ನಾವು ವಿಂಡೋಸ್ ಎಡ್ಜ್‌ಎಐ ಪರಿಸರವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಒಳಗೊಂಡ ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ರಚಿಸಿದ್ದೇವೆ. ಈ ಸಂಪನ್ಮೂಲವು ವಿಂಡೋಸ್ ಎಐ ಫೌಂಡ್ರಿ, API ಗಳು, ಸಾಧನಗಳು ಮತ್ತು ವಿಂಡೋಸ್‌ನಲ್ಲಿ ಎಡ್ಜ್‌ಎಐ ಅಭಿವೃದ್ಧಿಗೆ ಉತ್ತಮ ಅಭ್ಯಾಸಗಳ ಕುರಿತು ವಿವರವಾದ ಮಾಹಿತಿಯನ್ನು ಒದಗಿಸುತ್ತದೆ.

### ವಿಂಡೋಸ್ ಎಐ ಫೌಂಡ್ರಿ ವೇದಿಕೆ
ವಿಂಡೋಸ್ ಎಐ ಫೌಂಡ್ರಿ ವೇದಿಕೆ ವಿಂಡೋಸ್ ಸಾಧನಗಳ ಮೇಲೆ ಎಡ್ಜ್ ಎಐ ಅಭಿವೃದ್ಧಿಗೆ ವಿಶೇಷವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಿದ ಸಾಧನಗಳು ಮತ್ತು API ಗಳ ಸಮಗ್ರ ಸರಣಿಯನ್ನು ಒದಗಿಸುತ್ತದೆ. ಇದರಲ್ಲಿ NPU ವೇಗವರ್ಧಿತ ಹಾರ್ಡ್‌ವೇರ್, ವಿಂಡೋಸ್ ML ಏಕರೂಪಗೊಳಿಸುವಿಕೆ ಮತ್ತು ವೇದಿಕೆ-ನಿರ್ದಿಷ್ಟ ಆಪ್ಟಿಮೈಜೇಶನ್ ತಂತ್ರಗಳು ಸೇರಿವೆ.

**ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿ**: [Windows EdgeAI Development Guide](../windowdeveloper.md)

ಈ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ ಒಳಗೊಂಡಿದೆ:
- ವಿಂಡೋಸ್ ಎಐ ಫೌಂಡ್ರಿ ವೇದಿಕೆ ಅವಲೋಕನ ಮತ್ತು ಘಟಕಗಳು
- NPU ಹಾರ್ಡ್‌ವೇರ್ ಮೇಲೆ ಪರಿಣಾಮಕಾರಿ ನಿರ್ಣಯಕ್ಕಾಗಿ Phi Silica API
- ಚಿತ್ರ ಪ್ರಕ್ರಿಯೆ ಮತ್ತು OCR ಗಾಗಿ ಕಂಪ್ಯೂಟರ್ ವೀಷನ್ API ಗಳು
- ವಿಂಡೋಸ್ ML ರನ್‌ಟೈಮ್ ಏಕರೂಪಗೊಳಿಸುವಿಕೆ ಮತ್ತು ಆಪ್ಟಿಮೈಜೇಶನ್
- ಸ್ಥಳೀಯ ಅಭಿವೃದ್ಧಿ ಮತ್ತು ಪರೀಕ್ಷೆಗೆ ಫೌಂಡ್ರಿ ಲೋಕಲ್ CLI
- ವಿಂಡೋಸ್ ಸಾಧನಗಳಿಗಾಗಿ ಹಾರ್ಡ್‌ವೇರ್ ಆಪ್ಟಿಮೈಜೇಶನ್ ತಂತ್ರಗಳು
- ಪ್ರಾಯೋಗಿಕ ಅನುಷ್ಠಾನ ಉದಾಹರಣೆಗಳು ಮತ್ತು ಉತ್ತಮ ಅಭ್ಯಾಸಗಳು

### [ಎಡ್ಜ್ ಎಐ ಅಭಿವೃದ್ಧಿಗೆ AI ಟೂಲ್‌ಕಿಟ್](./aitoolkit.md)
ವಿಜುವಲ್ ಸ್ಟುಡಿಯೋ ಕೋಡ್ ಬಳಕೆದಾರರಿಗಾಗಿ, AI ಟೂಲ್‌ಕಿಟ್ ವಿಸ್ತರಣೆ ಎಡ್ಜ್ ಎಐ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವ, ಪರೀಕ್ಷಿಸುವ ಮತ್ತು ನಿಯೋಜಿಸುವ ಸಂಪೂರ್ಣ ಅಭಿವೃದ್ಧಿ ಪರಿಸರವನ್ನು ಒದಗಿಸುತ್ತದೆ. ಈ ಟೂಲ್‌ಕಿಟ್ VS ಕೋಡ್‌ನಲ್ಲಿ ಸಂಪೂರ್ಣ ಎಡ್ಜ್ ಎಐ ಅಭಿವೃದ್ಧಿ ಕಾರ್ಯಪ್ರವಾಹವನ್ನು ಸರಳಗೊಳಿಸುತ್ತದೆ.

**ಅಭಿವೃದ್ಧಿ ಮಾರ್ಗದರ್ಶಿ**: [AI Toolkit for Edge AI Development](./aitoolkit.md)

AI ಟೂಲ್‌ಕಿಟ್ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ ಒಳಗೊಂಡಿದೆ:
- ಎಡ್ಜ್ ನಿಯೋಜನೆಗಾಗಿ ಮಾದರಿ ಅನ್ವೇಷಣೆ ಮತ್ತು ಆಯ್ಕೆ
- ಸ್ಥಳೀಯ ಪರೀಕ್ಷೆ ಮತ್ತು ಆಪ್ಟಿಮೈಜೇಶನ್ ಕಾರ್ಯಪ್ರವಾಹಗಳು
- ONNX ಮತ್ತು Ollama ಏಕರೂಪಗೊಳಿಸುವಿಕೆ ಎಡ್ಜ್ ಮಾದರಿಗಳಿಗೆ
- ಮಾದರಿ ಪರಿವರ್ತನೆ ಮತ್ತು ಪ್ರಮಾಣೀಕರಣ ತಂತ್ರಗಳು
- ಎಡ್ಜ್ ದೃಶ್ಯಾವಳಿಗಳಿಗಾಗಿ ಏಜೆಂಟ್ ಅಭಿವೃದ್ಧಿ
- ಕಾರ್ಯಕ್ಷಮತೆ ಮೌಲ್ಯಮಾಪನ ಮತ್ತು ಮೇಲ್ವಿಚಾರಣೆ
- ನಿಯೋಜನೆ ಸಿದ್ಧತೆ ಮತ್ತು ಉತ್ತಮ ಅಭ್ಯಾಸಗಳು

## ಸಮಾರೋಪ

ಈ ಐದು ಎಡ್ಜ್‌ಎಐ ಅನುಷ್ಠಾನಗಳು ಇಂದಿನ ಎಡ್ಜ್ ಎಐ ಪರಿಹಾರಗಳ ಪಾಕ್ಷಿಕತೆ ಮತ್ತು ವೈವಿಧ್ಯತೆಯನ್ನು ತೋರಿಸುತ್ತವೆ. ಜೆಟ್ಸನ್ ಓರಿನ್ ನ್ಯಾನೋಂತಹ ಹಾರ್ಡ್‌ವೇರ್ ವೇಗವರ್ಧಿತ ಎಡ್ಜ್ ಸಾಧನಗಳಿಂದ ONNX ರನ್‌ಟೈಮ್ ಜನರೇಟಿವ್ ಎಐ ಮತ್ತು ವಿಂಡೋಸ್ ML ಮುಂತಾದ ಸಾಫ್ಟ್‌ವೇರ್ ಫ್ರೇಮ್ವರ್ಕ್‌ಗಳವರೆಗೆ, ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ ಎಡ್ಜ್‌ನಲ್ಲಿ ಬುದ್ಧಿವಂತ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿಯೋಜಿಸಲು ಅಪೂರ್ವ ಆಯ್ಕೆಗಳು ಲಭ್ಯವಿವೆ.

ಈ ಎಲ್ಲಾ ವೇದಿಕೆಗಳ ಸಾಮಾನ್ಯ ಧಾರೆಯು ಎಐ ಸಾಮರ್ಥ್ಯಗಳ ಪ್ರಜಾಪ್ರಭುತ್ವ, ವಿಭಿನ್ನ ಕೌಶಲ್ಯ ಮಟ್ಟಗಳು ಮತ್ತು ಬಳಕೆ ಪ್ರಕರಣಗಳಿಗಾಗಿ ಸುಧಾರಿತ ಯಂತ್ರ ಅಧ್ಯಯನವನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ ಲಭ್ಯವಿರುವುದಾಗಿದೆ. ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು, ಡೆಸ್ಕ್‌ಟಾಪ್ ಸಾಫ್ಟ್‌ವೇರ್ ಅಥವಾ ಎम्बೆಡ್ಡೆಡ್ ಸಿಸ್ಟಮ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದಾದರೂ, ಈ ಎಡ್ಜ್‌ಎಐ ಪರಿಹಾರಗಳು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಮತ್ತು ಗೌಪ್ಯತೆಯೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಬುದ್ಧಿವಂತ ಅಪ್ಲಿಕೇಶನ್‌ಗಳ ಮುಂದಿನ ತಲೆಮಾರಿಗೆ ಆಧಾರ ಒದಗಿಸುತ್ತವೆ.

ಪ್ರತಿ ವೇದಿಕೆ ವಿಶಿಷ್ಟ ಲಾಭಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ: ಜೆಟ್ಸನ್ ಓರಿನ್ ನ್ಯಾನೋ ಹಾರ್ಡ್‌ವೇರ್ ವೇಗವರ್ಧಿತ ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್‌ಗೆ, ONNX ರನ್‌ಟೈಮ್ ಜನರೇಟಿವ್ ಎಐ ಕ್ರಾಸ್-ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಮೊಬೈಲ್ ಅಭಿವೃದ್ಧಿಗೆ, ಅಜೂರ್ ಎಡ್ಜ್‌ಎಐ ಉದ್ಯಮ ಕ್ಲೌಡ್-ಎಡ್ಜ್ ಸಂಯೋಜನೆಗೆ, ವಿಂಡೋಸ್ ML ವಿಂಡೋಸ್-ಸ್ಥಳೀಯ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ ಮತ್ತು ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಗೌಪ್ಯತೆ-ಕೇಂದ್ರೀಕೃತ RAG ಅನುಷ್ಠಾನಗಳಿಗೆ. ಒಟ್ಟಾಗಿ, ಇವು ಎಡ್ಜ್‌ಎಐ ಅಭಿವೃದ್ಧಿಗೆ ಸಮಗ್ರ ಪರಿಸರವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತವೆ.

[ಮುಂದಿನ AI ಟೂಲ್‌ಕಿಟ್](aitoolkit.md)

---

<!-- CO-OP TRANSLATOR DISCLAIMER START -->
**ಅಸ್ವೀಕರಣ**:  
ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ [Co-op Translator](https://github.com/Azure/co-op-translator) ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯಿಗಾಗಿ ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ತಪ್ಪುಗಳು ಇರಬಹುದು ಎಂದು ದಯವಿಟ್ಟು ಗಮನಿಸಿ. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ಅಧಿಕೃತ ಮೂಲವಾಗಿ ಪರಿಗಣಿಸಬೇಕು. ಪ್ರಮುಖ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದ ಬಳಕೆಯಿಂದ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆ ಅಥವಾ ತಪ್ಪು ವಿವರಣೆಗಳಿಗೆ ನಾವು ಹೊಣೆಗಾರರಾಗುವುದಿಲ್ಲ.
<!-- CO-OP TRANSLATOR DISCLAIMER END -->