# அத்தியாயம் 04 : மாடல் வடிவ மாற்றம் மற்றும் அளவீடு - அத்தியாயத்தின் மேற்பார்வை

EdgeAI-யின் வளர்ச்சி, வளங்கள் குறைந்த சாதனங்களில் மேம்பட்ட இயந்திர கற்றல் திறன்களை செயல்படுத்த மாடல் வடிவ மாற்றம் மற்றும் அளவீடு முக்கியமான தொழில்நுட்பங்களாக உருவாகியுள்ளது. இந்த விரிவான அத்தியாயம், எட்ஜ் பயன்பாட்டு சூழல்களுக்கு மாடல்களை புரிந்து கொள்ள, செயல்படுத்த மற்றும் மேம்படுத்த முழுமையான வழிகாட்டுதலை வழங்குகிறது.

## 📚 அத்தியாய அமைப்பு மற்றும் கற்றல் பாதை

இந்த அத்தியாயம் ஏழு முன்னேற்றமான பிரிவுகளாக அமைக்கப்பட்டுள்ளது, ஒவ்வொன்றும் முந்தையதை அடிப்படையாகக் கொண்டு எட்ஜ் கணினிக்கான மாடல் மேம்பாட்டை முழுமையாக புரிந்து கொள்ள உதவுகிறது:

---

## [பிரிவு 1: மாடல் வடிவ மாற்றம் மற்றும் அளவீடு அடிப்படைகள்](./01.Introduce.md)

### 🎯 மேற்பார்வை
இந்த அடிப்படை பிரிவு, எட்ஜ் கணினி சூழல்களில் மாடல் மேம்பாட்டுக்கான கோட்பாட்டுத் தளத்தை உருவாக்குகிறது, 1-பிட் முதல் 8-பிட் துல்லிய நிலைகள் வரை அளவீட்டு எல்லைகளை மற்றும் முக்கிய வடிவ மாற்றம் உத்திகளை உள்ளடக்கியது.

**முக்கிய தலைப்புகள்:**
- துல்லிய வகைப்படுத்தல் அமைப்பு (மிக குறைந்த, குறைந்த, நடுத்தர துல்லியம்)
- GGUF மற்றும் ONNX வடிவத்தின் நன்மைகள் மற்றும் பயன்பாடுகள்
- செயல்பாட்டு திறன் மற்றும் பயன்பாட்டு சுதந்திரத்திற்கான அளவீட்டு நன்மைகள்
- செயல்திறன் அளவீடுகள் மற்றும் நினைவக அளவீடு ஒப்பீடுகள்

**கற்றல் முடிவுகள்:**
- அளவீட்டு எல்லைகள் மற்றும் வகைப்பாடுகளைப் புரிந்து கொள்ள
- பொருத்தமான வடிவ மாற்ற உத்திகளை அடையாளம் காண
- எட்ஜ் பயன்பாட்டுக்கான மேம்பட்ட மேம்பாட்டு உத்திகளை கற்றுக்கொள்ள

---

## [பிரிவு 2: Llama.cpp செயல்படுத்தல் வழிகாட்டி](./02.Llamacpp.md)

### 🎯 மேற்பார்வை
Llama.cpp-ஐ செயல்படுத்துவதற்கான விரிவான பயிற்சி, குறைந்த அமைப்புடன் பல்வேறு ஹார்ட்வேரில் திறமையான பெரிய மொழி மாடல் முடிவுகளை இயக்குவதற்கான சக்திவாய்ந்த C++ கட்டமைப்பு.

**முக்கிய தலைப்புகள்:**
- Windows, macOS, மற்றும் Linux தளங்களில் நிறுவல்
- GGUF வடிவ மாற்றம் மற்றும் பல அளவீட்டு நிலைகள் (Q2_K முதல் Q8_0)
- CUDA, Metal, OpenCL, மற்றும் Vulkan மூலம் ஹார்ட்வேரை வேகப்படுத்துதல்
- Python ஒருங்கிணைப்பு மற்றும் உற்பத்தி பயன்பாட்டு உத்திகள்

**கற்றல் முடிவுகள்:**
- பல தளங்களில் நிறுவல் மற்றும் மூலத்திலிருந்து கட்டமைப்பை கற்றுக்கொள்ள
- மாடல் அளவீட்டு மற்றும் மேம்பாட்டு உத்திகளை செயல்படுத்த
- REST API ஒருங்கிணைப்புடன் சர்வர் முறையில் மாடல்களை செயல்படுத்த

---

## [பிரிவு 3: Microsoft Olive மேம்பாட்டு தொகுப்பு](./03.MicrosoftOlive.md)

### 🎯 மேற்பார்வை
Microsoft Olive-ஐ ஆராய்வு, 40+ உள்ளமைக்கப்பட்ட மேம்பாட்டு கூறுகளுடன் கூடிய ஹார்ட்வேரை அறிந்த மாடல் மேம்பாட்டு கருவி, பல்வேறு ஹார்ட்வேர தளங்களில் நிறுவன தர மாடல் பயன்பாட்டிற்காக வடிவமைக்கப்பட்டுள்ளது.

**முக்கிய தலைப்புகள்:**
- இயக்க தானியக்க அம்சங்கள் (Dynamic மற்றும் Static Quantization)
- CPU, GPU, மற்றும் NPU பயன்பாட்டிற்கான ஹார்ட்வேர அறிவு
- பிரபலமான மாடல் ஆதரவு (Llama, Phi, Qwen, Gemma) உடனடியாக
- Azure ML மற்றும் உற்பத்தி வேலைகளுடன் நிறுவன ஒருங்கிணைப்பு

**கற்றல் முடிவுகள்:**
- பல மாடல் கட்டமைப்புகளுக்கான தானியக்க மேம்பாட்டை பயன்படுத்த
- பல தள பயன்பாட்டு உத்திகளை செயல்படுத்த
- நிறுவனத்திற்கான மேம்பாட்டு குழாய்களை உருவாக்க

---

## [பிரிவு 4: OpenVINO கருவி மேம்பாட்டு தொகுப்பு](./04.openvino.md)

### 🎯 மேற்பார்வை
Intel-இன் OpenVINO கருவியை விரிவாக ஆராய்வு, மேம்பட்ட நரம்பு வலை சுருக்கம் (NNCF) திறன்களுடன் கூடிய மேம்பட்ட AI தீர்வுகளை மேகத்தில், இடத்தில், மற்றும் எட்ஜ் சூழல்களில் செயல்படுத்த ஒரு திறந்த மூல தளம்.

**முக்கிய தலைப்புகள்:**
- CPU, GPU, VPU, AI வேகப்படுத்திகள் மூலம் பல தள பயன்பாடு
- மேம்பட்ட அளவீட்டு மற்றும் சுருக்கத்திற்கான நரம்பு வலை சுருக்கம் (NNCF)
- OpenVINO GenAI மூலம் பெரிய மொழி மாடல் மேம்பாடு மற்றும் பயன்பாடு
- நிறுவன தர மாடல் சர்வர் திறன்கள் மற்றும் அளவீட்டு உத்திகள்

**கற்றல் முடிவுகள்:**
- OpenVINO மாடல் மாற்றம் மற்றும் மேம்பாட்டு வேலைகளை கற்றுக்கொள்ள
- NNCF மூலம் மேம்பட்ட அளவீட்டு உத்திகளை செயல்படுத்த
- மாறுபட்ட ஹார்ட்வேர தளங்களில் மேம்பட்ட மாடல்களை செயல்படுத்த

---

## [பிரிவு 5: Apple MLX கட்டமைப்பின் ஆழமான ஆராய்ச்சி](./05.AppleMLX.md)

### 🎯 மேற்பார்வை
Apple MLX பற்றிய விரிவான கவர்ச்சி, Apple Silicon-க்கு சிறப்பாக வடிவமைக்கப்பட்ட ஒரு புரட்சிகரமான கட்டமைப்பு, பெரிய மொழி மாடல் திறன்கள் மற்றும் உள்ளூர் பயன்பாட்டில் கவனம் செலுத்துகிறது.

**முக்கிய தலைப்புகள்:**
- ஒருங்கிணைந்த நினைவக கட்டமைப்பு நன்மைகள் மற்றும் Metal Performance Shaders
- LLaMA, Mistral, Phi-3, Qwen, மற்றும் Code Llama மாடல்களுக்கு ஆதரவு
- LoRA நன்றாக்கல் மூலம் மாடல் தனிப்பயனாக்கம்
- Hugging Face ஒருங்கிணைப்பு மற்றும் அளவீட்டு ஆதரவு (4-பிட் மற்றும் 8-பிட்)

**கற்றல் முடிவுகள்:**
- Apple Silicon-க்கு சிறப்பான LLM பயன்பாட்டை கற்றுக்கொள்ள
- நன்றாக்கல் மற்றும் மாடல் தனிப்பயனாக்க உத்திகளை செயல்படுத்த
- மேம்பட்ட தனியுரிமை அம்சங்களுடன் நிறுவன AI பயன்பாடுகளை உருவாக்க

---

## [பிரிவு 6: Edge AI மேம்பாட்டு வேலைகள் ஒருங்கிணைப்பு](./06.workflow-synthesis.md)

### 🎯 மேற்பார்வை
எல்லா மேம்பாட்டு கருவிகளை ஒருங்கிணைந்த வேலைகளாக, முடிவு மரங்கள் மற்றும் உற்பத்தி தயாராக எட்ஜ் AI பயன்பாட்டிற்கான சிறந்த நடைமுறைகளாக ஒருங்கிணைக்கும் விரிவான தொகுப்பு.

**முக்கிய தலைப்புகள்:**
- பல மேம்பாட்டு கருவிகளை ஒருங்கிணைக்கும் ஒருங்கிணைந்த வேலைகள் கட்டமைப்பு
- கருவி தேர்வு முடிவு மரங்கள் மற்றும் செயல்திறன் வரம்பு பகுப்பாய்வு
- உற்பத்தி தயாராக இருப்பதற்கான சரிபார்ப்பு மற்றும் விரிவான பயன்பாட்டு உத்திகள்
- புதிய ஹார்ட்வேர மற்றும் மாடல் கட்டமைப்புகளுக்கான எதிர்கால உத்திகள்

**கற்றல் முடிவுகள்:**
- தேவைகள் மற்றும் கட்டுப்பாடுகளின் அடிப்படையில் அமைப்பான கருவி தேர்வை கற்றுக்கொள்ள
- விரிவான கண்காணிப்புடன் உற்பத்தி தர Edge AI குழாய்களை செயல்படுத்த
- புதிய தொழில்நுட்பங்கள் மற்றும் தேவைகளுடன் மாறும் வேலைகளை வடிவமைக்க

---

## [பிரிவு 7: Qualcomm QNN மேம்பாட்டு தொகுப்பு](./07.QualcommQNN.md)

### 🎯 மேற்பார்வை
Qualcomm QNN (Qualcomm Neural Network) பற்றிய விரிவான ஆராய்ச்சி, Qualcomm-இன் Hexagon NPU, Adreno GPU, மற்றும் Kryo CPU உட்பட பல்வேறு கணினி கட்டமைப்புகளை பயன்படுத்தி அதிக செயல்திறன் மற்றும் ஆற்றல் திறனுக்கான AI முடிவுகளை வழங்க ஒரு ஒருங்கிணைந்த AI முடிவு கட்டமைப்பு.

**முக்கிய தலைப்புகள்:**
- NPU, GPU, மற்றும் CPU-க்கு ஒருங்கிணைந்த அணுகுமுறை கொண்ட பல்வேறு கணினி
- Snapdragon தளங்களுக்கு ஹார்ட்வேர அறிவு கொண்ட மேம்பாட்டு உத்திகள்
- மேம்பட்ட அளவீட்டு உத்திகள் (INT8, INT16, கலப்பு துல்லியம்) மொபைல் பயன்பாட்டிற்காக
- பேட்டரி இயக்கப்படும் சாதனங்கள் மற்றும் நேரடி பயன்பாடுகளுக்கான ஆற்றல் திறனான முடிவு

**கற்றல் முடிவுகள்:**
- மொபைல் AI பயன்பாட்டிற்கான Qualcomm ஹார்ட்வேர வேகப்படுத்தலை கற்றுக்கொள்ள
- எட்ஜ் கணினிக்கான ஆற்றல் திறனான மேம்பாட்டு உத்திகளை செயல்படுத்த
- Qualcomm சூழலில் உற்பத்தி தர மாடல்களை அதிக செயல்திறனுடன் செயல்படுத்த

---

## 🎯 அத்தியாய கற்றல் முடிவுகள்

இந்த விரிவான அத்தியாயத்தை முடித்த பிறகு, வாசகர்கள் அடைவார்கள்:

### **தொழில்நுட்ப திறமை**
- அளவீட்டு எல்லைகள் மற்றும் நடைமுறை பயன்பாடுகளை ஆழமாகப் புரிந்து கொள்ள
- பல்வேறு மேம்பாட்டு கருவிகளுடன் கையடக்க அனுபவம்
- எட்ஜ் கணினி சூழல்களுக்கு உற்பத்தி பயன்பாட்டு திறன்கள்

### **மூலோபாய புரிதல்**
- ஹார்ட்வேர அறிவு கொண்ட மேம்பாட்டு தேர்வு திறன்கள்
- செயல்திறன் வரம்புகளில் தகவல்தரமான முடிவு எடுக்கும் திறன்கள்
- நிறுவன தர பயன்பாட்டு மற்றும் கண்காணிப்பு உத்திகள்

### **செயல்திறன் அளவீடுகள்**

| கருவி | அளவீட்டு | நினைவக பயன்பாடு | வேக மேம்பாடு | பயன்பாட்டு |
|-----------|-------------|--------------|-------------------|----------|
| Llama.cpp | Q4_K_M | ~4GB | 2-3x | பல தள பயன்பாடு |
| Olive | INT4 | 60-75% குறைவு | 2-6x | நிறுவன வேலைகள் |
| OpenVINO | INT8/INT4 | 50-75% குறைவு | 2-5x | Intel ஹார்ட்வேர மேம்பாடு |
| QNN | INT8/INT4 | 50-80% குறைவு | 5-15x | Qualcomm மொபைல்/எட்ஜ் |
| MLX | 4-பிட் | ~4GB | 2-4x | Apple Silicon மேம்பாடு |

## 🚀 அடுத்த படிகள் மற்றும் மேம்பட்ட பயன்பாடுகள்

இந்த அத்தியாயம் முழுமையான அடிப்படையை வழங்குகிறது:
- குறிப்பிட்ட துறைகளுக்கான தனிப்பயன் மாடல் மேம்பாடு
- எட்ஜ் AI மேம்பாட்டில் ஆராய்ச்சி
- வணிக AI பயன்பாட்டு மேம்பாடு
- பெரிய அளவிலான நிறுவன எட்ஜ் AI பயன்பாடுகள்

இந்த ஏழு பிரிவுகளின் அறிவு, எட்ஜ் AI மாடல் மேம்பாடு மற்றும் பயன்பாட்டின் வேகமாக மாறும் சூழலை வழிநடத்துவதற்கான முழுமையான கருவி தொகுப்பை வழங்குகிறது.

---

**புறக்கணிப்பு**:  
இந்த ஆவணம் AI மொழிபெயர்ப்பு சேவை [Co-op Translator](https://github.com/Azure/co-op-translator) பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சிக்கிறோம், ஆனால் தானியங்கி மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுகள் இருக்கக்கூடும் என்பதை கவனத்தில் கொள்ளவும். அதன் தாய்மொழியில் உள்ள மூல ஆவணம் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்முறை மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கங்களுக்கு நாங்கள் பொறுப்பல்ல.