# அத்தியாயம் 07 : எட்ஜ்AI மாதிரிகள்

எட்ஜ் AI என்பது செயற்கை நுண்ணறிவை எட்ஜ் கம்ப்யூட்டிங்குடன் இணைக்கும் ஒரு துறையாகும், இது கிளவுட் இணைப்பை சாராமல் சாதனங்களிலேயே நுண்ணறிவு செயலாக்கத்தை செயல்படுத்துகிறது. இந்த அத்தியாயம் பல்வேறு தளங்கள் மற்றும் கட்டமைப்புகளில் ஐந்து தனித்துவமான எட்ஜ்AI செயல்பாடுகளை ஆராய்கிறது, எட்ஜில் AI மாதிரிகளை இயக்குவதன் பல்துறை திறனையும் சக்தியையும் வெளிப்படுத்துகிறது.

## 1. NVIDIA Jetson Orin Nano இல் எட்ஜ்AI

NVIDIA Jetson Orin Nano என்பது எட்ஜ் AI கம்ப்யூட்டிங்கில் ஒரு புதிய புரட்சியாகும், இது கிரெடிட் கார்டு அளவிலான வடிவத்தில் 67 TOPS வரை AI செயல்திறனை வழங்குகிறது. இந்த சக்திவாய்ந்த எட்ஜ் AI தளம், ஆர்வலர்கள், மாணவர்கள் மற்றும் தொழில்முறை டெவலப்பர்களுக்காக ஜெனரேட்டிவ் AI மேம்பாட்டை எளிமையாக்குகிறது.

### முக்கிய அம்சங்கள்
- 67 TOPS வரை AI செயல்திறனை வழங்குகிறது—முந்தைய மாடலுடன் ஒப்பிடும்போது 1.7 மடங்கு மேம்பாடு
- 1024 CUDA கோர்கள் மற்றும் 32 Tensor கோர்கள் வரை AI செயலாக்கத்திற்காக
- 6-கோரு Arm Cortex-A78AE v8.2 64-பிட் CPU, அதிகபட்சமாக 1.5 GHz அதிர்வெண் கொண்டது
- வெறும் $249 விலையில் கிடைக்கிறது, டெவலப்பர்கள், மாணவர்கள் மற்றும் மேக்கர்களுக்கு மிகவும் மலிவான மற்றும் அணுகக்கூடிய தளமாக உள்ளது

### பயன்பாடுகள்
Jetson Orin Nano, பார்வை மாற்றிகள், பெரிய மொழி மாதிரிகள் மற்றும் பார்வை-மொழி மாதிரிகள் உட்பட நவீன ஜெனரேட்டிவ் AI மாதிரிகளை இயக்குவதில் சிறந்து விளங்குகிறது. இது குறிப்பாக GenAI பயன்பாடுகளுக்காக வடிவமைக்கப்பட்டுள்ளது, மேலும் பல LLMகளை ஒரு கைப்பிடி சாதனத்தில் இயக்கலாம். பிரபலமான பயன்பாடுகளில் AI இயக்கப்படும் ரோபோட்டிக்ஸ், ஸ்மார்ட் ட்ரோன்கள், நுண்ணறிவு கேமராக்கள் மற்றும் தன்னிச்சையான எட்ஜ் சாதனங்கள் அடங்கும்.

**மேலும் அறிய**: [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62)

## 2. .NET MAUI மற்றும் ONNX Runtime GenAI உடன் மொபைல் பயன்பாடுகளில் எட்ஜ்AI

இந்த தீர்வு, .NET MAUI (மல்டி-பிளாட்ஃபார்ம் ஆப் UI) மற்றும் ONNX Runtime GenAI பயன்படுத்தி ஜெனரேட்டிவ் AI மற்றும் பெரிய மொழி மாதிரிகளை (LLMs) குறுக்குவழி மொபைல் பயன்பாடுகளில் ஒருங்கிணைப்பதை எப்படி செய்வது என்பதை விளக்குகிறது. இந்த அணுகுமுறை .NET டெவலப்பர்களுக்கு Android மற்றும் iOS சாதனங்களில் இயல்பாக இயங்கும் சிக்கலான AI இயக்கப்படும் மொபைல் பயன்பாடுகளை உருவாக்க அனுமதிக்கிறது.

### முக்கிய அம்சங்கள்
- .NET MAUI கட்டமைப்பின் அடிப்படையில் உருவாக்கப்பட்டது, இது Android மற்றும் iOS பயன்பாடுகளுக்கு ஒரே குறியீட்டு அடிப்படையைக் கொண்டுள்ளது
- ONNX Runtime GenAI ஒருங்கிணைப்பு மூலம் ஜெனரேட்டிவ் AI மாதிரிகளை நேரடியாக மொபைல் சாதனங்களில் இயக்க முடியும்
- CPU, GPU மற்றும் சிறப்பு மொபைல் AI செயலிகள் உட்பட மொபைல் சாதனங்களுக்கு தனிப்பயன் ஹார்ட்வேர் வேகப்படுத்திகளை ஆதரிக்கிறது
- ONNX Runtime மூலம் iOS க்கான CoreML மற்றும் Android க்கான NNAPI போன்ற தள-சிறப்பு மேம்பாடுகள்
- முன் மற்றும் பின் செயலாக்கம், தீர்மானம், லாஜிட்ஸ் செயலாக்கம், தேடல் மற்றும் மாதிரிகள் மற்றும் KV கேஷ் மேலாண்மை ஆகியவற்றை உள்ளடக்கிய முழுமையான ஜெனரேட்டிவ் AI சுழற்சியை செயல்படுத்துகிறது

### மேம்பாட்டு நன்மைகள்
.NET MAUI அணுகுமுறை டெவலப்பர்களுக்கு தங்கள் தற்போதைய C# மற்றும் .NET திறன்களைப் பயன்படுத்தி குறுக்குவழி AI பயன்பாடுகளை உருவாக்க அனுமதிக்கிறது. ONNX Runtime GenAI கட்டமைப்பு Llama, Mistral, Phi, Gemma மற்றும் பலவற்றை உள்ளடக்கிய பல மாதிரி கட்டமைப்புகளை ஆதரிக்கிறது. ARM64 கர்னல்களின் மேம்படுத்தப்பட்ட செயல்திறன், மொபைல் ஹார்ட்வேர் மீது திறமையான செயல்திறனை உறுதிசெய்கிறது, அதே சமயத்தில் .NET மேம்பாட்டு அனுபவத்தை பராமரிக்கிறது.

### பயன்பாடுகள்
இந்த தீர்வு .NET தொழில்நுட்பங்களைப் பயன்படுத்தி AI இயக்கப்படும் மொபைல் பயன்பாடுகளை உருவாக்க விரும்பும் டெவலப்பர்களுக்கு சிறந்தது, இதில் நுண்ணறிவு சாட்பாட்கள், படத்தை அடையாளம் காணும் பயன்பாடுகள், மொழிபெயர்ப்பு கருவிகள் மற்றும் தனிப்பட்ட பரிந்துரை அமைப்புகள் ஆகியவை அடங்கும், அவை முழுமையாக சாதனத்தில் இயங்குகின்றன, மேம்பட்ட தனியுரிமை மற்றும் ஆஃப்லைன் திறனை வழங்குகின்றன.

**மேலும் அறிய**: [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui)

## 3. Azure இல் சிறிய மொழி மாதிரி இயந்திரத்துடன் எட்ஜ்AI

Microsoft இன் Azure அடிப்படையிலான எட்ஜ்AI தீர்வு, கிளவுட்-எட்ஜ் கலவை சூழல்களில் சிறிய மொழி மாதிரிகளை (SLMs) திறமையாகப் பயன்படுத்துவதில் கவனம் செலுத்துகிறது. இந்த அணுகுமுறை கிளவுட் அளவிலான AI சேவைகள் மற்றும் எட்ஜ் செயல்பாட்டு தேவைகளுக்கு இடையிலான இடைவெளியை நிரப்புகிறது.

### கட்டமைப்பு நன்மைகள்
- Azure AI சேவைகளுடன் சீரான ஒருங்கிணைவு
- ONNX Runtime மூலம் SLMs/LLMs மற்றும் மல்டி-மோடல் மாதிரிகளை சாதனத்திலும் கிளவுடிலும் இயக்கவும்
- நிறுவன அளவிலான செயல்பாட்டிற்காக மேம்படுத்தப்பட்டது
- தொடர்ச்சியான மாதிரி புதுப்பிப்புகள் மற்றும் மேலாண்மைக்கு ஆதரவு

### பயன்பாடுகள்
Azure எட்ஜ்AI செயல்பாடு, கிளவுட் மேலாண்மை திறன்களுடன் நிறுவன தரமான AI செயல்பாட்டில் சிறந்து விளங்குகிறது. இதில் நுண்ணறிவு ஆவண செயலாக்கம், நேரடி பகுப்பாய்வு மற்றும் கிளவுட் மற்றும் எட்ஜ் கம்ப்யூட்டிங் வளங்களைப் பயன்படுத்தும் கலவை AI பணியிடங்கள் அடங்கும்.

**மேலும் அறிய**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine)

## [4. Windows ML உடன் எட்ஜ்AI](./windowdeveloper.md)

Windows ML என்பது மைக்ரோசாஃப்ட் நிறுவனத்தின் முன்னணி ரன்டைம் ஆகும், இது சாதனத்தில் மாதிரிகளை செயல்படுத்தவும், எளிய செயல்பாட்டிற்கும் வடிவமைக்கப்பட்டுள்ளது. இது Windows AI Foundry இன் அடித்தளமாக செயல்படுகிறது. இந்த தளம், PC ஹார்ட்வேர் முழுவதையும் பயன்படுத்தி AI இயக்கப்படும் Windows பயன்பாடுகளை உருவாக்க டெவலப்பர்களுக்கு உதவுகிறது.

### தள திறன்கள்
- Windows 11 PCs இல் அனைத்து 24H2 பதிப்பு (build 26100) அல்லது அதற்கு மேல் இயங்கும்
- x64 மற்றும் ARM64 PC ஹார்ட்வேர் அனைத்திலும் இயங்கும், NPUகள் அல்லது GPUகள் இல்லாத PCகளிலும் கூட
- டெவலப்பர்கள் தங்கள் சொந்த மாதிரிகளை கொண்டு வந்து, அவற்றை AMD, Intel, NVIDIA மற்றும் Qualcomm உட்பட பல்வேறு சில்லிகான் பங்குதாரர் சூழல்களில் திறமையாகப் பயன்படுத்த அனுமதிக்கிறது
- கட்டமைப்பு APIகளைப் பயன்படுத்தி, டெவலப்பர்கள் தங்கள் பயன்பாட்டின் பல்வேறு சில்லிகான்களை இலக்கு செய்ய பல கட்டமைப்புகளை உருவாக்க தேவையில்லை

### டெவலப்பர் நன்மைகள்
Windows ML ஹார்ட்வேர் மற்றும் செயல்பாட்டு வழங்குநர்களை சுருக்கமாக்குகிறது, எனவே நீங்கள் உங்கள் குறியீட்டை எழுதுவதில் கவனம் செலுத்தலாம். மேலும், புதிய NPUகள், GPUகள் மற்றும் CPUகள் வெளியிடப்படும் போது Windows ML தானாகவே புதுப்பிக்கப்படுகிறது. இந்த தளம், பலவகையான Windows ஹார்ட்வேர் சூழலுக்கு ஏற்ற AI மேம்பாட்டிற்கான ஒருங்கிணைந்த கட்டமைப்பை வழங்குகிறது.

**மேலும் அறிய**: 
- [Windows ML Overview](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview)
- [Windows EdgeAI Development Guide](./windowdeveloper.md) - Windows Edge AI மேம்பாட்டுக்கான விரிவான வழிகாட்டி

## [5. Foundry Local பயன்பாடுகளுடன் எட்ஜ்AI](./foundrylocal.md)

Foundry Local, Windows மற்றும் Mac டெவலப்பர்களுக்கு Retrieval Augmented Generation (RAG) பயன்பாடுகளை .NET பயன்படுத்தி உள்ளூர் வளங்களை இணைத்து உருவாக்க அனுமதிக்கிறது. இது உள்ளூர் மொழி மாதிரிகளை அர்த்தமுள்ள தேடல் திறன்களுடன் இணைக்கிறது. இந்த அணுகுமுறை முழுமையான தனியுரிமை மையமாகிய AI தீர்வுகளை வழங்குகிறது.

### தொழில்நுட்ப கட்டமைப்பு
- Phi மொழி மாதிரி, Local Embeddings மற்றும் Semantic Kernel ஆகியவற்றை இணைத்து RAG சூழ்நிலையை உருவாக்குகிறது
- உள்ளடக்கத்தையும் அதன் அர்த்தமுள்ள பொருளையும் பிரதிநிதித்துவப்படுத்தும் மிதவை புள்ளி மதிப்புகளின் வெக்டர்களாக எம்பெடிங்களைப் பயன்படுத்துகிறது
- Semantic Kernel முக்கிய ஒருங்கிணைப்பாளராக செயல்படுகிறது, Phi மற்றும் Smart Components ஐ ஒருங்கிணைத்து ஒரு சீரான RAG குழாய்களை உருவாக்குகிறது
- SQLite மற்றும் Qdrant உட்பட உள்ளூர் வெக்டர் தரவுத்தொகுப்புகளுக்கு ஆதரவு

### செயல்பாட்டு நன்மைகள்
RAG அல்லது Retrieval Augmented Generation என்பது "சில தகவல்களை தேடுங்கள் மற்றும் அவற்றை உச்சரிப்பில் சேருங்கள்" என்பதற்கான ஒரு சிக்கலான வழியாகும். இந்த உள்ளூர் செயல்பாடு தரவின் தனியுரிமையை உறுதிசெய்யும் போது தனிப்பயன் அறிவு அடிப்படைகளில் அடிப்படையாகக் கொண்ட நுண்ணறிவு பதில்களை வழங்குகிறது. இந்த அணுகுமுறை குறிப்பாக தரவின் இறையாண்மை மற்றும் ஆஃப்லைன் செயல்பாட்டு திறன்களை தேவைப்படும் நிறுவன சூழல்களுக்கு மதிப்புமிக்கதாகும்.

**மேலும் அறிய**: 
- [Foundry Local](./foundrylocal.md)
- [Foundry Local RAG Samples](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag)

### Windows Foundry Local

Microsoft Foundry Local, Windows இல் உள்ளூர் மாதிரிகளை இயக்குவதற்கான OpenAI‑ஐ இணக்கமான REST சர்வரை ONNX Runtime மூலம் வழங்குகிறது. கீழே ஒரு விரைவான, சரிபார்க்கப்பட்ட சுருக்கம் உள்ளது; முழு விவரங்களுக்கு அதிகாரப்பூர்வ ஆவணங்களைப் பார்க்கவும்.

- தொடங்க: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started
- கட்டமைப்பு: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture
- CLI குறிப்பு: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli
- இந்த களஞ்சியத்தில் முழு Windows வழிகாட்டி: [foundrylocal.md](./foundrylocal.md)

Windows இல் நிறுவவும் அல்லது மேம்படுத்தவும் (cmd.exe):
```cmd
winget install Microsoft.FoundryLocal
winget upgrade --id Microsoft.FoundryLocal
foundry --version
```

CLI வகைகளை ஆராயவும்:
```cmd
foundry model --help
foundry service --help
foundry cache --help
```

ஒரு மாதிரியை இயக்கவும் மற்றும் மாறும் முடிவுகளை கண்டறியவும்:
```cmd
foundry model run gpt-oss-20b
foundry service status
```

மாதிரிகளை பட்டியலிட விரைவான REST சரிபார்ப்பு (நிலையைப் பதிலாக PORT மாற்றவும்):
```cmd
curl -s http://localhost:PORT/v1/models
```

குறிப்புகள்:
- SDK ஒருங்கிணைவு: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks
- உங்கள் சொந்த மாதிரியை கொண்டு வாருங்கள் (கம்பைல் செய்யவும்): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models

## Windows EdgeAI மேம்பாட்டு வளங்கள்

சிறப்பாக Windows தளத்தை இலக்காகக் கொண்ட டெவலப்பர்களுக்காக, Windows EdgeAI சூழலின் முழுமையான வழிகாட்டியை உருவாக்கியுள்ளோம். இந்த வளம் Windows AI Foundry பற்றிய விரிவான தகவல்களையும், APIகள், கருவிகள் மற்றும் Windows இல் EdgeAI மேம்பாட்டுக்கான சிறந்த நடைமுறைகளையும் வழங்குகிறது.

### Windows AI Foundry தளம்
Windows AI Foundry தளம், Windows சாதனங்களில் Edge AI மேம்பாட்டிற்காக குறிப்பாக வடிவமைக்கப்பட்ட கருவிகள் மற்றும் APIகளின் முழுமையான தொகுப்பை வழங்குகிறது. இதில் NPU-ஐ வேகப்படுத்திய ஹார்ட்வேர், Windows ML ஒருங்கிணைவு மற்றும் தள-சிறப்பு மேம்பாட்டு நுட்பங்கள் ஆகியவை அடங்கும்.

**விரிவான வழிகாட்டி**: [Windows EdgeAI Development Guide](../windowdeveloper.md)

இந்த வழிகாட்டி உள்ளடக்குகிறது:
- Windows AI Foundry தளத்தின் மேம்பட்ட பார்வை மற்றும் கூறுகள்
- NPU ஹார்ட்வேர் மீது திறமையான செயல்பாட்டிற்கான Phi Silica API
- பட செயலாக்கம் மற்றும் OCR க்கான கணினி பார்வை APIகள்
- Windows ML ரன்டைம் ஒருங்கிணைவு மற்றும் மேம்பாடு
- உள்ளூர் மேம்பாடு மற்றும் சோதனைக்கான Foundry Local CLI
- Windows சாதனங்களுக்கான ஹார்ட்வேர் மேம்பாட்டு உத்திகள்
- நடைமுறை செயல்பாட்டு எடுத்துக்காட்டுகள் மற்றும் சிறந்த நடைமுறைகள்

### [Edge AI மேம்பாட்டிற்கான AI கருவி தொகுப்பு](./aitoolkit.md)
Visual Studio Code ஐப் பயன்படுத்தும் டெவலப்பர்களுக்காக, AI கருவி தொகுப்பு நீட்டிப்பு Edge AI பயன்பாடுகளை உருவாக்க, சோதிக்க மற்றும் வெளியிட ஒரு விரிவான மேம்பாட்டு சூழலை வழங்குகிறது. இந்த கருவி தொகுப்பு முழு Edge AI மேம்பாட்டு பணிச்சூழலை எளிமையாக்குகிறது.

**மேம்பாட்டு வழிகாட்டி**: [AI Toolkit for Edge AI Development](./aitoolkit.md)

AI கருவி தொகுப்பு வழிகாட்டி உள்ளடக்குகிறது:
- எட்ஜ் செயல்பாட்டிற்கான மாதிரிகளை கண்டறிதல் மற்றும் தேர்வு
- உள்ளூர் சோதனை மற்றும் மேம்பாட்டு பணிச்சூழல்கள்
- ONNX மற்றும் Ollama ஒருங்கிணைவு எட்ஜ் மாதிரிகளுக்காக
- மாதிரி மாற்றம் மற்றும் அளவீட்டு நுட்பங்கள்
- எட்ஜ் சூழலுக்கான முகவர் மேம்பாடு
- செயல்திறன் மதிப்பீடு மற்றும் கண்காணிப்பு
- வெளியீட்டு தயாரிப்பு மற்றும் சிறந்த நடைமுறைகள்

## முடிவு

இந்த ஐந்து எட்ஜ்AI செயல்பாடுகள், இன்றைய எட்ஜ் AI தீர்வுகளின் முதிர்ச்சியையும் பல்வகைமையையும் காட்டுகின்றன. Jetson Orin Nano போன்ற ஹார்ட்வேர்-வேகப்படுத்தப்பட்ட எட்ஜ் சாதனங்களிலிருந்து ONNX Runtime GenAI மற்றும் Windows ML போன்ற மென்பொருள் கட்டமைப்புகள் வரை, டெவலப்பர்களுக்கு எட்ஜில் நுண்ணறிவு பயன்பாடுகளை வெளியிட பல்வேறு வாய்ப்புகள் உள்ளன.

இந்த அனைத்து தளங்களிலும் பொதுவானது AI திறன்களை ஜனநாயகமாக்கும் முயற்சியாகும், இது வெவ்வேறு திறன்களும் பயன்பாடுகளும் கொண்ட டெவலப்பர்களுக்கு சிக்கலான இயந்திர கற்றலை அணுகக்கூடியதாக மாற்றுகிறது. மொபைல் பயன்பாடுகள், டெஸ்க்டாப் மென்பொருள் அல்லது எம்பெடட் அமைப்புகளை உருவாக்குவதில் இருந்தே, இந்த எட்ஜ்AI தீர்வுகள் எட்ஜில் திறமையாகவும் தனியுரிமையாகவும் இயங்கும் அடுத்த தலைமுறை நுண்ணறிவு பயன்பாடுகளுக்கான அடித்தளத்தை வழங்குகின்றன.

ஒவ்வொரு தளமும் தனித்துவமான நன்மைகளை வழங்குகிறது: Jetson Orin Nano ஹார்ட்வேர்-வேகப்படுத்தப்பட்ட எட்ஜ் கம்ப்யூட்டிங்கிற்காக, ONNX Runtime GenAI குறுக்குவழி மொபைல் மேம்பாட்டிற்காக, Azure EdgeAI நிறுவன கிளவுட்-எட்ஜ் ஒருங்கிணைப்பிற்காக, Windows ML Windows-இயல்பான பயன்பாடுகளுக்காக, மற்றும் Foundry Local தனியுரிமை மையமாகிய RAG செயல்பாடுகளுக்காக. இவை அனைத்தும் சேர்ந்து எட்ஜ்AI மேம்பாட்டிற்கான முழுமையான சூழலாக உள்ளன.

[அடுத்த AI கருவி தொகுப்பு](aitoolkit.md)

---

**குறிப்பு**:  
இந்த ஆவணம் [Co-op Translator](https://github.com/Azure/co-op-translator) என்ற AI மொழிபெயர்ப்பு சேவையைப் பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சிக்கிறோம், ஆனால் தானியங்கி மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறான தகவல்கள் இருக்கக்கூடும் என்பதை கவனத்தில் கொள்ளவும். அதன் தாய்மொழியில் உள்ள மூல ஆவணம் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்முறை மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கங்களுக்கு நாங்கள் பொறுப்பல்ல.