# EdgeAI தொடக்கத்திற்கான பயிற்சி - வேலைநிறுவனம்

> **உற்பத்திக்கு தயாரான Edge AI பயன்பாடுகளை உருவாக்க கற்றல் பாதை**
>
> Microsoft Foundry Local உடன் உள்ளூர் AI பிரயோகத்தை முதலில் ஒரு உரையாடல் முடிவில் இருந்து பல முகவர்களுடன் ஒருங்கிணைப்பதற்கு 6 முன்னேற்றமான அமர்வுகளில் கற்றுக்கொள்ளுங்கள்.

---

## 🎯 அறிமுகம்

**EdgeAI தொடக்க பயிற்சிக்கு** வரவேற்கிறோம் - இது முழுமையாக உள்ளூர் ஹார்ட்வேரில் இயங்கும் புத்திசாலி பயன்பாடுகளை உருவாக்குவதற்கான நடைமுறை வழிகாட்டி. இந்த பயிற்சி Edge AI பற்றிய கோட்பாட்டை Microsoft Foundry Local மற்றும் Small Language Models (SLMs) பயன்படுத்தி உண்மையான உலக திறன்களாக மாற்றுகிறது.

### இந்த பயிற்சியின் முக்கியத்துவம் என்ன?

**Edge AI புரட்சியின் தொடக்கம்**

உலகளாவிய நிறுவனங்கள் மூன்று முக்கிய காரணங்களுக்காக மேக சார்ந்த AI-யிலிருந்து Edge கணினிக்கு மாறுகின்றன:

1. **தனியுரிமை மற்றும் ஒழுங்குமுறை** - மேகத்தில் தரவுகளை அனுப்பாமல் உள்ளூரில் நுண்ணறிவு தரவுகளை செயல்படுத்துதல் (HIPAA, GDPR, நிதி ஒழுங்குமுறை)
2. **செயல்திறன்** - நெட்வொர்க் தாமதத்தை நீக்குதல் (50-500ms உள்ளூர் vs 500-2000ms மேக சுற்றுப்பயணம்)
3. **செலவ كنترل** - API செலவுகளை நீக்குதல் மற்றும் மேக செலவுகளின்றி அளவீட்டை அதிகரித்தல்

**ஆனால் Edge AI வேறுபட்டது**

உள்ளூர் AI இயக்கம் புதிய திறன்களை தேவைப்படுகிறது:
- வளங்களின் கட்டுப்பாடுகளுக்கான மாதிரி தேர்வு மற்றும் மேம்பாடு
- உள்ளூர் சேவை மேலாண்மை மற்றும் ஹார்ட்வேர வேகப்படுத்தல்
- சிறிய மாதிரிகளுக்கான ப்ராம்ட் இன்ஜினியரிங்
- Edge சாதனங்களுக்கான உற்பத்தி பிரயோக வடிவங்கள்

**இந்த பயிற்சி அந்த திறன்களை வழங்குகிறது**

6 கவனம் செலுத்தப்பட்ட அமர்வுகளில் (~3 மணி நேரம் மொத்தம்), நீங்கள் "Hello World" முதல் உற்பத்திக்கு தயாரான பல முகவர்களுடன் ஒருங்கிணைந்த அமைப்புகளை உள்ளூர் கணினியில் இயக்குவதற்கு முன்னேறுவீர்கள்.

---

## 📚 கற்றல் நோக்கங்கள்

இந்த பயிற்சியை முடிக்கும்போது, நீங்கள் செய்யக்கூடியவை:

### முக்கிய திறன்கள்
1. **உள்ளூர் AI சேவைகளை நிறுவல் மற்றும் மேலாண்மை**
   - Microsoft Foundry Local-ஐ நிறுவல் மற்றும் அமைத்தல்
   - Edge பிரயோகத்திற்கான சரியான மாதிரிகளை தேர்வு செய்தல்
   - மாதிரி வாழ்க்கைச்சுழற்சியை மேலாண்மை செய்தல் (பதிவிறக்கம், ஏற்றுதல், கேஷ்)
   - வள பயன்பாட்டை கண்காணித்து செயல்திறனை மேம்படுத்துதல்

2. **AI இயக்கப்படும் பயன்பாடுகளை உருவாக்குதல்**
   - OpenAI-க்கு இணக்கமான உரையாடல் முடிவுகளை உள்ளூரில் செயல்படுத்துதல்
   - சிறிய மொழி மாதிரிகளுக்கான பயனுள்ள ப்ராம்ட்களை வடிவமைத்தல்
   - சிறந்த UX-க்கு ஸ்ட்ரீமிங் பதில்களை கையாளுதல்
   - உள்ளூர் மாதிரிகளை ஏற்கனவே உள்ள பயன்பாடுகளில் ஒருங்கிணைத்தல்

3. **RAG (Retrieval Augmented Generation) அமைப்புகளை உருவாக்குதல்**
   - எம்பெடிங்க்களுடன் அர்த்தமுள்ள தேடலை உருவாக்குதல்
   - LLM பதில்களை துறைக்கு குறிப்பிட்ட அறிவில் அடிப்படையாக அமைத்தல்
   - RAG தரத்தை தொழில்துறை தரமான அளவுகோல்களுடன் மதிப்பீடு செய்தல்
   - முன்மாதிரியில் இருந்து உற்பத்திக்கு அளவீட்டை அதிகரித்தல்

4. **மாதிரி செயல்திறனை மேம்படுத்துதல்**
   - உங்கள் பயன்பாட்டிற்கான பல மாதிரிகளை பெஞ்ச்மார்க் செய்தல்
   - தாமதம், துரிதம், முதல் டோக்கன் நேரத்தை அளவிடுதல்
   - வேக/தர வர்த்தகத்தை அடிப்படையாகக் கொண்ட சரியான மாதிரிகளை தேர்வு செய்தல்
   - உண்மையான சூழல்களில் SLM vs LLM வர்த்தகங்களை ஒப்பிடுதல்

5. **பல முகவர்களுடன் ஒருங்கிணைந்த அமைப்புகளை ஒருங்கிணைத்தல்**
   - வெவ்வேறு பணிகளுக்கான சிறப்பு முகவர்களை வடிவமைத்தல்
   - முகவர் நினைவகம் மற்றும் சூழல் மேலாண்மை செயல்படுத்துதல்
   - சிக்கலான வேலைகளில் முகவர்களை ஒருங்கிணைத்தல்
   - பல மாதிரிகளுக்கு மாறுபட்ட கோரிக்கைகளை புத்திசாலியாக வழிநடத்துதல்

6. **உற்பத்திக்கு தயாரான தீர்வுகளை பிரயோகத்தில் கொண்டு வருதல்**
   - பிழை கையாளுதல் மற்றும் மீண்டும் முயற்சி செய்யும் தந்திரத்தை செயல்படுத்துதல்
   - டோக்கன் பயன்பாடு மற்றும் அமைப்பு வளங்களை கண்காணித்தல்
   - மாதிரி-கருவிகள் வடிவங்களை கொண்ட அளவீட்டு கட்டமைப்புகளை உருவாக்குதல்
   - Edge-இல் இருந்து ஹைப்ரிட் (Edge + Cloud) மாறுதல் பாதைகளை திட்டமிடுதல்

---

## 🎓 கற்றல் முடிவுகள்

### நீங்கள் உருவாக்குவது

இந்த பயிற்சியின் முடிவில், நீங்கள் உருவாக்கியிருப்பீர்கள்:

| அமர்வு | முடிவு | கற்றல் திறன்கள் |
|---------|-------------|---------------------|
| **1** | ஸ்ட்ரீமிங் கொண்ட உரையாடல் பயன்பாடு | சேவை அமைப்பு, அடிப்படை முடிவுகள், ஸ்ட்ரீமிங் UX |
| **2** | மதிப்பீடு கொண்ட RAG அமைப்பு | எம்பெடிங்க்கள், அர்த்தமுள்ள தேடல், தர அளவுகோல்கள் |
| **3** | பல மாதிரிகளுக்கான பெஞ்ச்மார்க் தொகுப்பு | செயல்திறன் அளவீடு, மாதிரி ஒப்பீடு |
| **4** | SLM vs LLM ஒப்பீடு | வர்த்தக பகுப்பாய்வு, மேம்பாட்டு தந்திரங்கள் |
| **5** | பல முகவர்களுடன் ஒருங்கிணைந்த அமைப்பு | முகவர் வடிவமைப்பு, நினைவகம் மேலாண்மை, ஒருங்கிணைப்பு |
| **6** | புத்திசாலி வழிநடத்தல் அமைப்பு | நோக்கம் கண்டறிதல், மாதிரி தேர்வு, அளவீட்டு திறன் |

### திறன் நிலை அட்டவணை

| திறன் நிலை | அமர்வு 1-2 | அமர்வு 3-4 | அமர்வு 5-6 |
|-------------|-------------|-------------|-------------|
| **தொடக்கநிலை** | ✅ அமைப்பு & அடிப்படைகள் | ⚠️ சவாலானது | ❌ மிகவும் மேம்பட்டது |
| **இடைநிலை** | ✅ விரைவான மதிப்பீடு | ✅ முக்கிய கற்றல் | ⚠️ நீட்டிப்பு இலக்குகள் |
| **மேம்பட்டது** | ✅ எளிதாக முடித்தல் | ✅ நுட்பம் | ✅ உற்பத்தி வடிவங்கள் |

### தொழில்முறை தயார்நிலை திறன்கள்

**இந்த பயிற்சியின் முடிவில், நீங்கள் தயாராக இருப்பீர்கள்:**

✅ **தனியுரிமை முதன்மை பயன்பாடுகளை உருவாக்குதல்**
- PHI/PII-ஐ உள்ளூரில் கையாளும் சுகாதார பயன்பாடுகள்
- ஒழுங்குமுறை தேவைகளுடன் நிதி சேவைகள்
- தரவின் இறையாண்மை தேவைகளுடன் அரசு அமைப்புகள்

✅ **Edge சூழல்களுக்கு மேம்படுத்துதல்**
- வளங்கள் குறைந்த IoT சாதனங்கள்
- ஆஃப்லைன்-முதலில் மொபைல் பயன்பாடுகள்
- குறைந்த தாமதம் கொண்ட நேரடி அமைப்புகள்

✅ **புத்திசாலி கட்டமைப்புகளை வடிவமைத்தல்**
- சிக்கலான வேலைகளுக்கான பல முகவர்களுடன் அமைப்புகள்
- ஹைப்ரிட் Edge-மேக பிரயோகங்கள்
- செலவுகளை குறைத்த AI கட்டமைப்பு

✅ **Edge AI முயற்சிகளை வழிநடத்துதல்**
- Edge AI-யின் சாத்தியத்தை திட்டங்களுக்கு மதிப்பீடு செய்தல்
- சரியான மாதிரிகள் மற்றும் கட்டமைப்புகளை தேர்வு செய்தல்
- அளவீட்டு உள்ளூர் AI தீர்வுகளை வடிவமைத்தல்

---

## 🗺️ பயிற்சி அமைப்பு

### அமர்வு கண்ணோட்டம் (6 அமர்வுகள் × 30 நிமிடங்கள் = 3 மணி நேரம்)

| அமர்வு | தலைப்பு | கவனம் | கால அளவு |
|---------|-------|-------|----------|
| **1** | Foundry Local உடன் தொடங்குதல் | நிறுவல், சரிபார்ப்பு, முதல் முடிவுகள் | 30 நிமிடங்கள் |
| **2** | RAG உடன் AI தீர்வுகளை உருவாக்குதல் | ப்ராம்ட் இன்ஜினியரிங், எம்பெடிங்க்கள், மதிப்பீடு | 30 நிமிடங்கள் |
| **3** | திறந்த மூல மாதிரிகள் | மாதிரி கண்டறிதல், பெஞ்ச்மார்க், தேர்வு | 30 நிமிடங்கள் |
| **4** | முன்னணி மாதிரிகள் | SLM vs LLM, மேம்பாடு, கட்டமைப்புகள் | 30 நிமிடங்கள் |
| **5** | AI இயக்கப்படும் முகவர்கள் | முகவர் வடிவமைப்பு, ஒருங்கிணைப்பு, நினைவகம் | 30 நிமிடங்கள் |
| **6** | கருவிகளாக மாதிரிகள் | வழிநடத்தல், சங்கிலி அமைப்பு, அளவீட்டு தந்திரங்கள் | 30 நிமிடங்கள் |

---

## 🚀 விரைவான தொடக்கம்

### முன் தேவைகள்

**கணினி தேவைகள்:**
- **OS**: Windows 10/11, macOS 11+, அல்லது Linux (Ubuntu 20.04+)
- **RAM**: குறைந்தபட்சம் 8GB, பரிந்துரைக்கப்படும் 16GB+
- **Storage**: மாதிரிகளுக்கு 10GB+ இலவச இடம்
- **CPU**: AVX2 ஆதரவு கொண்ட நவீன செயலி
- **GPU** (விருப்பம்): CUDA-இன் ஆதரவு அல்லது Qualcomm NPU வேகப்படுத்தலுக்காக

**மென்பொருள் தேவைகள்:**
- **Python 3.8+** ([பதிவிறக்கம்](https://www.python.org/downloads/))
- **Microsoft Foundry Local** ([நிறுவல் வழிகாட்டி](../../../Workshop))
- **Git** ([பதிவிறக்கம்](https://git-scm.com/downloads))
- **Visual Studio Code** (பரிந்துரைக்கப்படுகிறது) ([பதிவிறக்கம்](https://code.visualstudio.com/))

### 3 படிகளில் அமைத்தல்

#### 1. Foundry Local-ஐ நிறுவுதல்

**Windows:**
```powershell
winget install Microsoft.FoundryLocal
```

**macOS:**
```bash
brew tap microsoft/foundrylocal
brew install foundrylocal
```

**நிறுவலை சரிபார்க்கவும்:**
```bash
foundry --version
foundry service status
```

**Azure AI Foundry Local ஒரு நிரந்தர போர்ட்டுடன் இயங்குகிறது என்பதை உறுதிப்படுத்தவும்**

```bash
# Set FoundryLocal to use port 58123 (default)
foundry service set --port 58123 --show

# Or use a different port
foundry service set --port 58000 --show
```

**இது செயல்படுகிறது என்பதை உறுதிப்படுத்தவும்:**
```bash
# Check service status
foundry service status

# Test the endpoint
curl http://127.0.0.1:58123/v1/models
```
**கிடைக்கக்கூடிய மாதிரிகளை கண்டறிதல்**
Foundry Local-இல் கிடைக்கக்கூடிய மாதிரிகளை காண, மாதிரிகள் முடிவுகளை கேட்கலாம்:

```bash
# cmd/bash/powershell
foundry model list
```

வலை முடிவுகளை பயன்படுத்துதல் 

```bash
# Windows PowerShell
powershell -Command "Invoke-RestMethod -Uri 'http://127.0.0.1:58123/v1/models' -Method Get"

# Or using curl (if available)
curl http://127.0.0.1:58123/v1/models
```

#### 2. களஞ்சியத்தை கிளோன் செய்து சார்புகளை நிறுவுதல்

```bash
# Clone repository
git clone https://github.com/microsoft/edgeai-for-beginners.git
cd edgeai-for-beginners/Workshop

# Create virtual environment
python -m venv .venv

# Activate virtual environment
# Windows:
.\.venv\Scripts\activate
# macOS/Linux:
source .venv/bin/activate

# Install dependencies
pip install -r requirements.txt
```

#### 3. உங்கள் முதல் மாதிரியை இயக்குதல்

```bash
# Start Foundry Local and load a model
foundry model run phi-4-mini

# Run the chat bootstrap sample
cd samples
python -m session01.chat_bootstrap "What is edge AI?"
```

**✅ வெற்றி!** Edge AI பற்றி ஸ்ட்ரீமிங் பதிலை நீங்கள் காணலாம்.

---

## 📦 பயிற்சி வளங்கள்

### Python மாதிரிகள்

ஒவ்வொரு கருத்தையும் விளக்கும் முன்னேற்றமான நடைமுறை உதாரணங்கள்:

| அமர்வு | மாதிரி | விளக்கம் | இயக்க நேரம் |
|---------|--------|-------------|----------|
| 1 | [`chat_bootstrap.py`](../../../Workshop/samples/session01/chat_bootstrap.py) | அடிப்படை & ஸ்ட்ரீமிங் உரையாடல் | ~30s |
| 2 | [`rag_pipeline.py`](../../../Workshop/samples/session02/rag_pipeline.py) | எம்பெடிங்க்களுடன் RAG | ~45s |
| 2 | [`rag_eval_ragas.py`](../../../Workshop/samples/session02/rag_eval_ragas.py) | RAG தர மதிப்பீடு | ~60s |
| 3 | [`benchmark_oss_models.py`](../../../Workshop/samples/session03/benchmark_oss_models.py) | பல மாதிரிகள் பெஞ்ச்மார்க் | ~2-3m |
| 4 | [`model_compare.py`](../../../Workshop/samples/session04/model_compare.py) | SLM vs LLM ஒப்பீடு | ~45s |
| 5 | [`agents_orchestrator.py`](../../../Workshop/samples/session05/agents_orchestrator.py) | பல முகவர்களுடன் அமைப்பு | ~60s |
| 6 | [`models_router.py`](../../../Workshop/samples/session06/models_router.py) | நோக்கம் அடிப்படையிலான வழிநடத்தல் | ~45s |
| 6 | [`models_pipeline.py`](../../../Workshop/samples/session06/models_pipeline.py) | பல படி அமைப்பு | ~60s |

### Jupyter Notebooks

விளக்கங்களுடன் மற்றும் காட்சிகளுடன் கூடிய இடைமுக ஆராய்ச்சி:

| அமar
| 6 | [Session06-ModelsAsTools](./Session06-ModelsAsTools.md) | Azure-க்கு வழிமுறைகள், இணைப்பு, அளவீடு |

ஒவ்வொரு அமர்வு கோப்பிலும் அடங்கும்: சுருக்கம், கற்றல் நோக்கங்கள், 30 நிமிட டெமோ ஓட்டம், தொடக்க திட்டம், சரிபார்ப்பு சோதனை பட்டியல், சிக்கல் தீர்வு மற்றும் Foundry Local Python SDK-க்கு அதிகாரப்பூர்வமான குறிப்புகள்.

### மாதிரிகள் ஸ்கிரிப்ட்கள்

வார்ப்பட்டறை தேவைகளை நிறுவவும் (Windows):

```powershell
cd Workshop
py -m venv .venv
.\.venv\Scripts\activate
pip install -r requirements.txt
```

macOS / Linux:

```bash
cd Workshop
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
```

Foundry Local சேவையை macOS-ல் இருந்து வேறு (Windows) கணினி அல்லது VM-ல் இயக்கினால், முடிவுநிலை URL ஐ ஏற்றுமதி செய்யவும்:

```bash
export FOUNDRY_LOCAL_ENDPOINT=http://<windows-host>:5273/v1
```

| அமர்வு | ஸ்கிரிப்ட்(கள்) | விளக்கம் |
|--------|----------------|-----------|
| 1 | `samples/session01/chat_bootstrap.py` | Bootstrap சேவை & ஸ்ட்ரீமிங் உரையாடல் |
| 2 | `samples/session02/rag_pipeline.py` | குறைந்தபட்ச RAG (மெமரியில் உள்ள எம்பெடிங்ஸ்) |
|   | `samples/session02/rag_eval_ragas.py` | RAG மதிப்பீடு ragas அளவுகோல்களுடன் |
| 3 | `samples/session03/benchmark_oss_models.py` | பல மாதிரிகள் தாமதம் & திறன் மதிப்பீடு |
| 4 | `samples/session04/model_compare.py` | SLM மற்றும் LLM ஒப்பீடு (தாமதம் & மாதிரி வெளியீடு) |
| 5 | `samples/session05/agents_orchestrator.py` | இரண்டு முகவர் ஆராய்ச்சி → ஆசிரியர் குழு செயல்முறை |
| 6 | `samples/session06/models_router.py` | நோக்கத்தை அடிப்படையாகக் கொண்ட வழிமுறைகள் டெமோ |
|   | `samples/session06/models_pipeline.py` | பல படிகள் திட்டம்/செயல்படுத்துதல்/சீரமைப்பு சங்கிலி |

### சூழல் மாறிகள் (மாதிரிகளுக்கு பொதுவானவை)

| மாறி | நோக்கம் | உதாரணம் |
|------|---------|---------|
| `FOUNDRY_LOCAL_ALIAS` | அடிப்படை மாதிரிகளுக்கு இயல்பான ஒற்றை மாதிரி பெயர் | `phi-4-mini` |
| `SLM_ALIAS` / `LLM_ALIAS` | SLM மற்றும் பெரிய மாதிரிகளுக்கான தெளிவான ஒப்பீடு | `phi-4-mini` / `gpt-oss-20b` |
| `BENCH_MODELS` | மதிப்பீடு செய்ய aliases பட்டியல் | `qwen2.5-0.5b,mistral-7b` |
| `BENCH_ROUNDS` | ஒவ்வொரு மாதிரிக்கும் மதிப்பீடு மீட்பு | `3` |
| `BENCH_PROMPT` | மதிப்பீட்டில் பயன்படுத்தப்படும் கேள்வி | `Explain retrieval augmented generation briefly.` |
| `EMBED_MODEL` | வாக்கிய-மாற்று எம்பெடிங் மாதிரி | `sentence-transformers/all-MiniLM-L6-v2` |
| `RAG_QUESTION` | RAG செயல்முறைக்கு சோதனை கேள்வியை மாற்றவும் | `Why use RAG with local inference?` |
| `AGENT_QUESTION` | முகவர்கள் செயல்முறை கேள்வியை மாற்றவும் | `Explain why edge AI matters for compliance.` |
| `AGENT_MODEL_PRIMARY` | ஆராய்ச்சி முகவருக்கான மாதிரி பெயர் | `phi-4-mini` |
| `AGENT_MODEL_EDITOR` | ஆசிரியர் முகவருக்கான மாதிரி பெயர் (மாறலாம்) | `gpt-oss-20b` |
| `SHOW_USAGE` | `1` என்றால், ஒவ்வொரு முடிவிலும் டோக்கன் பயன்பாட்டை அச்சிடுகிறது | `1` |
| `RETRY_ON_FAIL` | `1` என்றால், தற்காலிக உரையாடல் பிழைகளில் மீண்டும் முயற்சி செய்கிறது | `1` |
| `RETRY_BACKOFF` | மீண்டும் முயற்சிக்கும் முன் காத்திருக்கும் விநாடிகள் | `1.0` |

ஒரு மாறி அமைக்கப்படவில்லை என்றால், ஸ்கிரிப்ட்கள் உணர்வான இயல்புகளைப் பயன்படுத்தும். ஒற்றை மாதிரி டெமோக்களுக்கு நீங்கள் பொதுவாக `FOUNDRY_LOCAL_ALIAS` மட்டுமே தேவை.

### பயன்பாட்டு தொகுதி

அனைத்து மாதிரிகளும் இப்போது `samples/workshop_utils.py` என்ற உதவியாளர் கோப்பைப் பகிர்கின்றன, இது:

* FoundryLocalManager + OpenAI கிளையண்ட் உருவாக்கத்தை சேமிக்கிறது
* `chat_once()` உதவியாளர், விருப்பமான மீண்டும் முயற்சி + பயன்பாட்டு அச்சிடலுடன்
* எளிய டோக்கன் பயன்பாட்டு அறிக்கைகள் (செயல்படுத்த `SHOW_USAGE=1` மூலம்)

இது மறு உற்பத்தியை குறைத்து, உள்ளூர் மாதிரி ஒருங்கிணைப்புக்கான சிறந்த நடைமுறைகளை வெளிப்படுத்துகிறது.

## விருப்ப மேம்பாடுகள் (அனைத்து அமர்வுகளுக்குமானவை)

| தலைப்பு | மேம்பாடு | அமர்வுகள் | Env / Toggle |
|---------|----------|-----------|--------------|
| தீர்மானம் | நிலையான வெப்பநிலை + நிலையான கேள்வி தொகுப்புகள் | 1–6 | `temperature=0`, `top_p=1` அமைக்கவும் |
| டோக்கன் பயன்பாட்டு காட்சி | ஒத்த செலவு/திறன் கற்பித்தல் | 1–6 | `SHOW_USAGE=1` |
| ஸ்ட்ரீமிங் முதல் டோக்கன் | உணரப்பட்ட தாமத அளவீடு | 1,3,4,6 | `BENCH_STREAM=1` (மதிப்பீடு) |
| மீண்டும் முயற்சி | தற்காலிக குளிர் தொடக்கத்தை கையாள்கிறது | அனைத்தும் | `RETRY_ON_FAIL=1` + `RETRY_BACKOFF` |
| பல மாதிரி முகவர்கள் | வேறுபட்ட பங்கு நிபுணத்துவம் | 5 | `AGENT_MODEL_PRIMARY`, `AGENT_MODEL_EDITOR` |
| தற்காலிக வழிமுறைகள் | நோக்கம் + செலவு அளவுகோல்கள் | 6 | வழிமுறைகளை விரிவாக்கவும் |
| வெக்டர் நினைவகம் | நீண்டகால அர்த்தமான நினைவகம் | 2,5,6 | FAISS/Chroma எம்பெடிங் குறியீட்டை ஒருங்கிணைக்கவும் |
| தடம் ஏற்றுமதி | ஆடிட்டிங் & மதிப்பீடு | 2,5,6 | ஒவ்வொரு படியிலும் JSON வரிகளைச் சேர்க்கவும் |
| தரமான அளவுகோல்கள் | தரமான கண்காணிப்பு | 3–6 | இரண்டாம் நிலை மதிப்பீட்டு கேள்விகள் |
| புகை சோதனைகள் | விரைவான வார்ப்பட்டறை சரிபார்ப்பு | அனைத்தும் | `python Workshop/tests/smoke.py` |

### தீர்மானமான விரைவான தொடக்கம்

```powershell
set FOUNDRY_LOCAL_ALIAS=phi-4-mini
set SHOW_USAGE=1
python Workshop\tests\smoke.py
```

ஒரே மாதிரியான உள்ளீடுகளில் மீண்டும் மீண்டும் நிலையான டோக்கன் எண்ணிக்கைகளை எதிர்பார்க்கவும்.

### RAG மதிப்பீடு (அமர்வு 2)

சிறிய செயற்கை தரவுத்தொகுப்பில் பதில் பொருத்தம், உண்மைத்தன்மை மற்றும் சூழல் துல்லியத்தை கணக்கிட `rag_eval_ragas.py` பயன்படுத்தவும்:

```powershell
cd Workshop/samples
python -m session02.rag_eval_ragas
```

கேள்விகள், சூழல்கள் மற்றும் தரமான உண்மைகள் கொண்ட பெரிய JSONL வழங்கி, பின்னர் Hugging Face `Dataset`-க்கு மாற்றுவதன் மூலம் விரிவாக்கவும்.

## CLI கட்டளை துல்லியத்திற்கான இணைப்பு

வார்ப்பட்டறை தற்போதைய ஆவணப்படுத்தப்பட்ட / நிலையான Foundry Local CLI கட்டளைகளை மட்டுமே பயன்படுத்துகிறது.

### குறிப்பிடப்பட்ட CLI கட்டளைகள்

| வகை | கட்டளை | நோக்கம் |
|-----|---------|---------|
| மையம் | `foundry --version` | நிறுவப்பட்ட பதிப்பை காண்பிக்கவும் |
| சேவை | `foundry service start` | உள்ளூர் சேவையை தொடங்கவும் (தானாக இல்லையெனில்) |
| சேவை | `foundry service status` | சேவை நிலையை காண்பிக்கவும் |
| மாதிரிகள் | `foundry model list` | மாதிரிகள் பட்டியலை காண்பிக்கவும் |
| மாதிரிகள் | `foundry model download <alias>` | மாதிரி எடைகளை கேஷில் பதிவிறக்கவும் |
| மாதிரிகள் | `foundry model run <alias>` | ஒரு மாதிரியை உள்ளூரில் தொடங்கவும்; `--prompt` உடன் ஒரே-சுற்று |
| மாதிரிகள் | `foundry model unload <alias>` / `foundry model stop <alias>` | ஒரு மாதிரியை நினைவில் இருந்து வெளியேற்றவும் (ஆதரிக்கப்படும் என்றால்) |
| கேஷ் | `foundry cache list` | கேஷில் உள்ள (பதிவிறக்கப்பட்ட) மாதிரிகளை பட்டியலிடவும் |

### ஒரே-சுற்று கேள்வி முறை

முந்தைய `model chat` துணை கட்டளையை தவிர்த்து, இதை பயன்படுத்தவும்:

```powershell
foundry model run <alias> --prompt "Your question here"
```

இது ஒரு கேள்வி/பதில் சுழற்சியை செயல்படுத்தி பின்னர் வெளியேறுகிறது.

### நீக்கப்பட்ட / தவிர்க்கப்பட்ட முறைகள்

| பழமையான / ஆவணப்படுத்தப்படாதவை | மாற்றம் / வழிகாட்டுதல் |
|-------------------------------|-----------------------|
| `foundry model chat <model> "..."` | `foundry model run <model> --prompt "..."` |
| `foundry model list --running` | `foundry model list` + சமீபத்திய செயல்பாடு / பதிவுகள் |
| `foundry model list --cached` | `foundry cache list` |
| `foundry model stats <model>` | மதிப்பீடு Python ஸ்கிரிப்ட் + OS கருவிகள் (Task Manager / `nvidia-smi`) |
| `foundry model benchmark ...` | `samples/session03/benchmark_oss_models.py` |

### மதிப்பீடு மற்றும் தொலைநோக்கு

- தாமதம், p95, டோக்கன்கள்/வினாடி: `samples/session03/benchmark_oss_models.py`
- முதல்-டோக்கன் தாமதம் (ஸ்ட்ரீமிங்): `BENCH_STREAM=1` அமைக்கவும்
- வளங்கள் பயன்பாடு: OS கண்காணிப்புகள் (Task Manager, Activity Monitor, `nvidia-smi`).

புதிய CLI தொலைநோக்கு கட்டளைகள் மேலே நிலையானதாக மாறும்போது, அவற்றை குறைந்த திருத்தங்களுடன் அமர்வு மார்க்டவுன்களில் இணைக்கலாம்.

### தானியங்கும் லின்ட் பாதுகாவலர்

ஒரு தானியங்கும் லின்டர், மார்க்டவுன் கோப்புகளின் fenced code blocks-ல் பழமையான CLI முறைகளை மீண்டும் அறிமுகப்படுத்துவதைத் தடுக்கிறது:

ஸ்கிரிப்ட்: `Workshop/scripts/lint_markdown_cli.py`

பழமையான முறைகள் code fences-ல் தடை செய்யப்படும்.

பரிந்துரைக்கப்பட்ட மாற்றங்கள்:
| பழமையானவை | மாற்றம் |
|------------|---------|
| `foundry model chat <a> "..."` | `foundry model run <a> --prompt "..."` |
| `model list --running` | `model list` |
| `model list --cached` | `cache list` |
| `model stats` | மதிப்பீடு ஸ்கிரிப்ட் + சிஸ்டம் கருவிகள் |
| `model benchmark` | `samples/session03/benchmark_oss_models.py` |
| `model list --available` | `model list` |

உள்ளூரில் இயக்கவும்:
```powershell
python Workshop\scripts\lint_markdown_cli.py --verbose
```

GitHub செயல்பாடு: `.github/workflows/markdown-cli-lint.yml` ஒவ்வொரு push & PR-க்கும் இயக்கப்படும்.

விருப்ப pre-commit hook:
```bash
echo "python Workshop/scripts/lint_markdown_cli.py" > .git/hooks/pre-commit
chmod +x .git/hooks/pre-commit
```

## CLI → SDK மாற்றம் விரைவான அட்டவணை

| பணிகள் | CLI ஒரே-சுற்று | SDK (Python) சமமானது | குறிப்புகள் |
|--------|---------------|-----------------------|-------------|
| ஒரு மாதிரியை ஒருமுறை இயக்கவும் (கேள்வி) | `foundry model run phi-4-mini --prompt "Hello"` | `manager=FoundryLocalManager("phi-4-mini"); client=OpenAI(base_url=manager.endpoint, api_key=manager.api_key or "not-needed"); client.chat.completions.create(model=manager.get_model_info("phi-4-mini").id, messages=[{"role":"user","content":"Hello"}])` | SDK தானாக சேவை மற்றும் கேஷிங் தொடங்குகிறது |
| மாதிரியை பதிவிறக்கவும் (கேஷ்) | `foundry model download qwen2.5-0.5b` | `FoundryLocalManager("qwen2.5-0.5b")  # triggers download/load` | பெயர் பல பதிப்புகளுக்கு வரைபடம் செய்யப்படுமானால் மேலாளர் சிறந்ததை தேர்வு செய்கிறார் |
| பட்டியலிடப்பட்ட தொகுப்பு | `foundry model list` | `# use manager for each alias or maintain known list` | CLI தொகுப்புகளைச் சேர்க்கிறது; SDK தற்போதைக்கு ஒவ்வொரு பெயரையும் தனித்தனியாக உருவாக்குகிறது |
| கேஷ் செய்யப்பட்ட மாதிரிகளை பட்டியலிடவும் | `foundry cache list` | `manager.list_cached_models()` | மேலாளர் தொடக்கத்திற்குப் பிறகு (எந்த பெயரையும் பயன்படுத்தலாம்) |
| முடிவுநிலை URL ஐப் பெறவும் | (மறைமுகமாக) | `manager.endpoint` | OpenAI-க்கு இணக்கமான கிளையண்ட் உருவாக்க பயன்படுத்தப்படுகிறது |
| ஒரு மாதிரியை சூடாக்கவும் | `foundry model run <alias>` பின்னர் முதல் கேள்வி | `chat_once(alias, messages=[...])` (உதவியாளர்) | உதவியாளர்கள் ஆரம்ப குளிர் தாமதத்தை சூடாக்குவதை கையாளுகிறார்கள் |
| தாமதத்தை அளவிடவும் | `python -m session03.benchmark_oss_models` | `import benchmark_oss_models` (அல்லது புதிய ஏற்றுமதி ஸ்கிரிப்ட்) | நிலையான அளவுகோல்களுக்கு ஸ்கிரிப்ட் விரும்பப்படுகிறது |
| மாதிரியை நிறுத்தவும் / வெளியேற்றவும் | `foundry model unload <alias>` | (வெளிப்படுத்தப்படவில்லை – சேவை / செயல்முறையை மீண்டும் தொடங்கவும்) | வார்ப்பட்டறை ஓட்டத்திற்கு பொதுவாக தேவை இல்லை |
| டோக்கன் பயன்பாட்டை பெறவும் | (அச்சிடப்பட்ட வெளியீட்டை காண்க) | `resp.usage.total_tokens` | பின்னணி பயன்பாட்டு பொருள் வழங்கினால் வழங்கப்படும் |

## மதிப்பீட்டு மார்க்டவுன் ஏற்றுமதி

`Workshop/scripts/export_benchmark_markdown.py` ஸ்கிரிப்டைப் பயன்படுத்தி புதிய மதிப்பீட்டை இயக்கவும் (அதே தரவுத்தொகுப்பு `samples/session03/benchmark_oss_models.py` போல) மற்றும் GitHub-க்கு ஏற்றுமதி செய்யும் மார்க்டவுன் அட்டவணை மற்றும் மூல JSON உருவாக்கவும்.

### உதாரணம்

```powershell
python Workshop\scripts\export_benchmark_markdown.py --models "qwen2.5-0.5b,mistral-7b" --prompt "Explain retrieval augmented generation briefly." --rounds 3 --output benchmark_report.md
```

உருவாக்கப்பட்ட கோப்புகள்:
| கோப்பு | உள்ளடக்கம் |
|--------|------------|
| `benchmark_report.md` | மார்க்டவுன் அட்டவணை + விளக்க குறிப்புகள் |
| `benchmark_report.json` | மூல அளவுகோல் வரிசை (மாறுபாடு / போக்கு கண்காணிப்பு) |

முதல்-டோக்கன் தாமதத்தைச் சேர்க்க `BENCH_STREAM=1` சூழல் மாறியை அமைக்கவும்.

---

<!-- CO-OP TRANSLATOR DISCLAIMER START -->
**குறிப்பு**:  
இந்த ஆவணம் AI மொழிபெயர்ப்பு சேவை [Co-op Translator](https://github.com/Azure/co-op-translator) பயன்படுத்தி மொழிபெயர்க்கப்பட்டுள்ளது. நாங்கள் துல்லியத்திற்காக முயற்சிக்கிறோம், ஆனால் தானியங்கி மொழிபெயர்ப்புகளில் பிழைகள் அல்லது தவறுகள் இருக்கக்கூடும் என்பதை கவனத்தில் கொள்ளவும். அதன் தாய்மொழியில் உள்ள மூல ஆவணம் அதிகாரப்பூர்வ ஆதாரமாக கருதப்பட வேண்டும். முக்கியமான தகவல்களுக்கு, தொழில்முறை மனித மொழிபெயர்ப்பு பரிந்துரைக்கப்படுகிறது. இந்த மொழிபெயர்ப்பைப் பயன்படுத்துவதால் ஏற்படும் எந்த தவறான புரிதல்கள் அல்லது தவறான விளக்கங்களுக்கு நாங்கள் பொறுப்பல்ல.
<!-- CO-OP TRANSLATOR DISCLAIMER END -->