# EdgeAI for Beginners - വർക്‌ഷോപ്പ്

> **പ്രൊഡക്ഷൻ-റെഡി എഡ്ജ് AI ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കാൻ ഹാൻഡ്‌സ്-ഓൺ പഠന പാത**
>
> Microsoft Foundry Local ഉപയോഗിച്ച് പ്രാദേശിക AI വിന്യാസത്തിൽ പ്രാവീണ്യം നേടുക, ആദ്യ ചാറ്റ് പൂർത്തീകരണത്തിൽ നിന്ന് മൾട്ടി-ഏജന്റ് ഓർക്കസ്ട്രേഷനിലേക്ക് 6 പുരോഗമന സെഷനുകളിൽ.

---

## 🎯 പരിചയം

**EdgeAI for Beginners Workshop**-ലേക്ക് സ്വാഗതം - പ്രാദേശിക ഹാർഡ്‌വെയറിൽ പൂർണ്ണമായും പ്രവർത്തിക്കുന്ന ബുദ്ധിമുട്ടുള്ള ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കാൻ നിങ്ങളുടെ പ്രായോഗിക, ഹാൻഡ്‌സ്-ഓൺ ഗൈഡ്. ഈ വർക്‌ഷോപ്പ് സിദ്ധാന്തപരമായ എഡ്ജ് AI ആശയങ്ങളെ Microsoft Foundry Local, Small Language Models (SLMs) എന്നിവ ഉപയോഗിച്ച് ക്രമാനുസൃതമായി വെല്ലുവിളിക്കുന്ന അഭ്യാസങ്ങളിലൂടെ യാഥാർത്ഥ്യപരമായ കഴിവുകളായി മാറ്റുന്നു.

### ഈ വർക്‌ഷോപ്പ് എന്തുകൊണ്ട്?

**എഡ്ജ് AI വിപ്ലവം ഇവിടെ തന്നെ**

ലോകമെമ്പാടും സംഘടനകൾ ക്ലൗഡ് ആശ്രിത AI-യിൽ നിന്ന് എഡ്ജ് കംപ്യൂട്ടിങ്ങിലേക്ക് മാറുകയാണ് മൂന്ന് പ്രധാന കാരണങ്ങളാൽ:

1. **സ്വകാര്യതയും അനുസരണയും** - ക്ലൗഡിലേക്ക് ഡാറ്റ അയക്കാതെ പ്രാദേശികമായി സങ്കീർണ്ണമായ ഡാറ്റ പ്രോസസ്സ് ചെയ്യുക (HIPAA, GDPR, സാമ്പത്തിക നിയമങ്ങൾ)
2. **പ്രകടനം** - നെറ്റ്‌വർക്ക് വൈകിപ്പിക്കൽ ഒഴിവാക്കുക (പ്രാദേശികം 50-500ms vs ക്ലൗഡ് 500-2000ms റൗണ്ട്-ട്രിപ്പ്)
3. **ചെലവ് നിയന്ത്രണം** - ടോക്കൺ അടിസ്ഥാന API ചെലവുകൾ ഒഴിവാക്കി ക്ലൗഡ് ചെലവുകൾ കൂടാതെ സ്കെയിൽ ചെയ്യുക

**എങ്കിലും എഡ്ജ് AI വ്യത്യസ്തമാണ്**

ഓൺ-പ്രെമിസിൽ AI ഓടിക്കാൻ പുതിയ കഴിവുകൾ ആവശ്യമാണ്:
- റിസോഴ്‌സ് പരിമിതികൾക്കായി മോഡൽ തിരഞ്ഞെടുക്കൽ, മെച്ചപ്പെടുത്തൽ
- പ്രാദേശിക സേവന മാനേജ്മെന്റ്, ഹാർഡ്‌വെയർ ആക്സിലറേഷൻ
- ചെറിയ മോഡലുകൾക്കായി പ്രോംപ്റ്റ് എഞ്ചിനീയറിംഗ്
- എഡ്ജ് ഉപകരണങ്ങൾക്ക് പ്രൊഡക്ഷൻ വിന്യാസ മാതൃകകൾ

**ഈ വർക്‌ഷോപ്പ് ആ കഴിവുകൾ നൽകുന്നു**

6 കേന്ദ്രീകൃത സെഷനുകളിൽ (~3 മണിക്കൂർ മൊത്തം), നിങ്ങൾ "ഹലോ വേൾഡ്" മുതൽ പ്രൊഡക്ഷൻ-റെഡി മൾട്ടി-ഏജന്റ് സിസ്റ്റങ്ങൾ പ്രാദേശികമായി നിങ്ങളുടെ മെഷീനിൽ പ്രവർത്തിപ്പിക്കുന്നതുവരെ മുന്നേറും.

---

## 📚 പഠന ലക്ഷ്യങ്ങൾ

ഈ വർക്‌ഷോപ്പ് പൂർത്തിയാക്കിയാൽ, നിങ്ങൾക്ക് സാധിക്കും:

### പ്രധാന കഴിവുകൾ
1. **പ്രാദേശിക AI സേവനങ്ങൾ വിന്യസിക്കുകയും നിയന്ത്രിക്കുകയും ചെയ്യുക**
   - Microsoft Foundry Local ഇൻസ്റ്റാൾ ചെയ്യുക, കോൺഫിഗർ ചെയ്യുക
   - എഡ്ജ് വിന്യാസത്തിന് അനുയോജ്യമായ മോഡലുകൾ തിരഞ്ഞെടുക്കുക
   - മോഡൽ ലൈഫ്‌സൈക്കിൾ മാനേജ്‌മെന്റ് (ഡൗൺലോഡ്, ലോഡ്, കാഷ്)
   - റിസോഴ്‌സ് ഉപയോഗം നിരീക്ഷിച്ച് പ്രകടനം മെച്ചപ്പെടുത്തുക

2. **AI-ശക്തിയുള്ള ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കുക**
   - പ്രാദേശികമായി OpenAI-സമാനമായ ചാറ്റ് പൂർത്തീകരണങ്ങൾ നടപ്പിലാക്കുക
   - Small Language Models-ക്കായി ഫലപ്രദമായ പ്രോംപ്റ്റുകൾ രൂപകൽപ്പന ചെയ്യുക
   - മികച്ച ഉപയോക്തൃ അനുഭവത്തിനായി സ്ട്രീമിംഗ് പ്രതികരണങ്ങൾ കൈകാര്യം ചെയ്യുക
   - പ്രാദേശിക മോഡലുകൾ നിലവിലുള്ള ആപ്ലിക്കേഷനുകളിൽ സംയോജിപ്പിക്കുക

3. **RAG (Retrieval Augmented Generation) സിസ്റ്റങ്ങൾ സൃഷ്ടിക്കുക**
   - എംബെഡ്ഡിംഗുകൾ ഉപയോഗിച്ച് സെമാന്റിക് സെർച്ച് നിർമ്മിക്കുക
   - LLM പ്രതികരണങ്ങളെ ഡൊമെയ്ൻ-സ്പെസിഫിക് അറിവിൽ അടിസ്ഥാനം വയ്ക്കുക
   - വ്യവസായ നിലവാരമുള്ള മെട്രിക്‌സുകൾ ഉപയോഗിച്ച് RAG ഗുണമേന്മ വിലയിരുത്തുക
   - പ്രോട്ടോടൈപ്പിൽ നിന്ന് പ്രൊഡക്ഷനിലേക്ക് സ്കെയിൽ ചെയ്യുക

4. **മോഡൽ പ്രകടനം മെച്ചപ്പെടുത്തുക**
   - നിങ്ങളുടെ ഉപയോഗത്തിനായി പല മോഡലുകളും ബെഞ്ച്മാർക്ക് ചെയ്യുക
   - വൈകിപ്പിക്കൽ, ത്രൂപുട്ട്, ആദ്യ ടോക്കൺ സമയം അളക്കുക
   - വേഗത/ഗുണമേന്മ ട്രേഡ്-ഓഫുകൾ അടിസ്ഥാനമാക്കി മികച്ച മോഡലുകൾ തിരഞ്ഞെടുക്കുക
   - യഥാർത്ഥ സാഹചര്യങ്ങളിൽ SLM vs LLM ട്രേഡ്-ഓഫുകൾ താരതമ്യം ചെയ്യുക

5. **മൾട്ടി-ഏജന്റ് സിസ്റ്റങ്ങൾ ഓർക്കസ്ട്രേറ്റ് ചെയ്യുക**
   - വ്യത്യസ്ത ജോലികൾക്കായി പ്രത്യേക ഏജന്റുകൾ രൂപകൽപ്പന ചെയ്യുക
   - ഏജന്റ് മെമ്മറി, കോൺടെക്സ്റ്റ് മാനേജ്മെന്റ് നടപ്പിലാക്കുക
   - സങ്കീർണ്ണ വർക്ക്‌ഫ്ലോകളിൽ ഏജന്റുകൾ ഏകോപിപ്പിക്കുക
   - മൾട്ടി മോഡലുകൾക്കിടയിൽ ബുദ്ധിമുട്ടോടെ അഭ്യർത്ഥനകൾ റൂട്ടുചെയ്യുക

6. **പ്രൊഡക്ഷൻ-റെഡി പരിഹാരങ്ങൾ വിന്യസിക്കുക**
   - പിശക് കൈകാര്യം ചെയ്യലും റിട്രൈ ലജിക്കും നടപ്പിലാക്കുക
   - ടോക്കൺ ഉപയോഗവും സിസ്റ്റം റിസോഴ്‌സുകളും നിരീക്ഷിക്കുക
   - മോഡൽ-ആസ്-ടൂൾസ് മാതൃകകളോടെ സ്കെയിലബിൾ ആർക്കിടെക്ചറുകൾ നിർമ്മിക്കുക
   - എഡ്ജിൽ നിന്ന് ഹൈബ്രിഡിലേക്ക് (എഡ്ജ് + ക്ലൗഡ്) മൈഗ്രേഷൻ പാതകൾ പദ്ധതിയിടുക

---

## 🎓 പഠന ഫലങ്ങൾ

### നിങ്ങൾ നിർമ്മിക്കുന്നതെന്ത്

ഈ വർക്‌ഷോപ്പ് അവസാനിക്കുന്നപ്പോൾ, നിങ്ങൾ സൃഷ്ടിച്ചിരിക്കുന്നതും:

| സെഷൻ | ഡെലിവറബിൾ | പ്രകടിപ്പിച്ച കഴിവുകൾ |
|---------|-------------|---------------------|
| **1** | സ്ട്രീമിംഗ് ചാറ്റ് ആപ്ലിക്കേഷൻ | സേവന സജ്ജീകരണം, അടിസ്ഥാന പൂർത്തീകരണങ്ങൾ, സ്ട്രീമിംഗ് UX |
| **2** | RAG സിസ്റ്റം വിലയിരുത്തലോടെ | എംബെഡ്ഡിംഗുകൾ, സെമാന്റിക് സെർച്ച്, ഗുണമേന്മ മെട്രിക്‌സ് |
| **3** | മൾട്ടി-മോഡൽ ബെഞ്ച്മാർക്ക് സ്യൂട്ട് | പ്രകടന അളവ്, മോഡൽ താരതമ്യം |
| **4** | SLM vs LLM താരതമ്യം | ട്രേഡ്-ഓഫ് വിശകലനം, മെച്ചപ്പെടുത്തൽ തന്ത്രങ്ങൾ |
| **5** | മൾട്ടി-ഏജന്റ് ഓർക്കസ്ട്രേറ്റർ | ഏജന്റ് രൂപകൽപ്പന, മെമ്മറി മാനേജ്മെന്റ്, ഏകോപനം |
| **6** | ബുദ്ധിമുട്ടുള്ള റൂട്ടിംഗ് സിസ്റ്റം | ഉദ്ദേശ്യ കണ്ടെത്തൽ, മോഡൽ തിരഞ്ഞെടുപ്പ്, സ്കെയിലബിലിറ്റി |

### കഴിവ് മാട്രിക്സ്

| കഴിവ് നില | സെഷൻ 1-2 | സെഷൻ 3-4 | സെഷൻ 5-6 |
|-------------|-------------|-------------|-------------|
| **ആരംഭക** | ✅ സജ്ജീകരണവും അടിസ്ഥാനവും | ⚠️ വെല്ലുവിളികൾ | ❌ വളരെ മുന്നേറ്റം |
| **മധ്യസ്ഥ** | ✅ വേഗം അവലോകനം | ✅ പ്രധാന പഠനം | ⚠️ വ്യാപിപ്പിക്കൽ ലക്ഷ്യങ്ങൾ |
| **ഉന്നത** | ✅ എളുപ്പത്തിൽ കടക്കുക | ✅ മെച്ചപ്പെടുത്തൽ | ✅ പ്രൊഡക്ഷൻ മാതൃകകൾ |

### കരിയർ-റെഡി കഴിവുകൾ

**ഈ വർക്‌ഷോപ്പ് കഴിഞ്ഞ്, നിങ്ങൾക്ക് സാധിക്കും:**

✅ **സ്വകാര്യത-പ്രഥമ ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കുക**
- പ്രാദേശികമായി PHI/PII കൈകാര്യം ചെയ്യുന്ന ആരോഗ്യപരിചരണ ആപ്ലിക്കേഷനുകൾ
- അനുസരണ ആവശ്യങ്ങളുള്ള സാമ്പത്തിക സേവനങ്ങൾ
- ഡാറ്റ സോവറൻറ്റി ആവശ്യങ്ങളുള്ള സർക്കാർ സംവിധാനങ്ങൾ

✅ **എഡ്ജ് പരിസ്ഥിതികൾക്കായി മെച്ചപ്പെടുത്തുക**
- പരിമിത റിസോഴ്‌സുകളുള്ള IoT ഉപകരണങ്ങൾ
- ഓഫ്‌ലൈൻ-പ്രഥമ മൊബൈൽ ആപ്ലിക്കേഷനുകൾ
- കുറഞ്ഞ വൈകിപ്പിക്കൽ റിയൽ-ടൈം സിസ്റ്റങ്ങൾ

✅ **ബുദ്ധിമുട്ടുള്ള ആർക്കിടെക്ചറുകൾ രൂപകൽപ്പന ചെയ്യുക**
- സങ്കീർണ്ണ വർക്ക്‌ഫ്ലോകൾക്കായി മൾട്ടി-ഏജന്റ് സിസ്റ്റങ്ങൾ
- ഹൈബ്രിഡ് എഡ്ജ്-ക്ലൗഡ് വിന്യാസങ്ങൾ
- ചെലവ്-മിതമായ AI അടിസ്ഥാനസൗകര്യങ്ങൾ

✅ **എഡ്ജ് AI സംരംഭങ്ങൾ നയിക്കുക**
- പ്രോജക്ടുകൾക്കായി എഡ്ജ് AI സാധ്യത വിലയിരുത്തുക
- അനുയോജ്യമായ മോഡലുകളും ഫ്രെയിംവർകുകളും തിരഞ്ഞെടുക്കുക
- സ്കെയിലബിൾ പ്രാദേശിക AI പരിഹാരങ്ങൾ ആർക്കിടെക്ചർ ചെയ്യുക

---

## 🗺️ വർക്‌ഷോപ്പ് ഘടന

### സെഷൻ അവലോകനം (6 സെഷനുകൾ × 30 മിനിറ്റ് = 3 മണിക്കൂർ)

| സെഷൻ | വിഷയം | കേന്ദ്രീകൃതം | ദൈർഘ്യം |
|---------|-------|-------|----------|
| **1** | Foundry Local ഉപയോഗിച്ച് ആരംഭിക്കൽ | ഇൻസ്റ്റാൾ, സ്ഥിരീകരണം, ആദ്യ പൂർത്തീകരണങ്ങൾ | 30 മിനിറ്റ് |
| **2** | RAG ഉപയോഗിച്ച് AI പരിഹാരങ്ങൾ നിർമ്മിക്കൽ | പ്രോംപ്റ്റ് എഞ്ചിനീയറിംഗ്, എംബെഡ്ഡിംഗുകൾ, വിലയിരുത്തൽ | 30 മിനിറ്റ് |
| **3** | ഓപ്പൺ സോഴ്‌സ് മോഡലുകൾ | മോഡൽ കണ്ടെത്തൽ, ബെഞ്ച്മാർക്കിംഗ്, തിരഞ്ഞെടുപ്പ് | 30 മിനിറ്റ് |
| **4** | ഏറ്റവും പുതിയ മോഡലുകൾ | SLM vs LLM, മെച്ചപ്പെടുത്തൽ, ഫ്രെയിംവർക്ക് | 30 മിനിറ്റ് |
| **5** | AI-ശക്തിയുള്ള ഏജന്റുകൾ | ഏജന്റ് രൂപകൽപ്പന, ഓർക്കസ്ട്രേഷൻ, മെമ്മറി | 30 മിനിറ്റ് |
| **6** | ടൂളുകളായി മോഡലുകൾ | റൂട്ടിംഗ്, ചെയിനിംഗ്, സ്കെയിലിംഗ് തന്ത്രങ്ങൾ | 30 മിനിറ്റ് |

---

## 🚀 വേഗത്തിലുള്ള ആരംഭം

### മുൻ‌അവശ്യങ്ങൾ

**സിസ്റ്റം ആവശ്യകതകൾ:**
- **ഓഎസ്**: Windows 10/11, macOS 11+, അല്ലെങ്കിൽ Linux (Ubuntu 20.04+)
- **റാം**: കുറഞ്ഞത് 8GB, 16GB+ ശുപാർശ ചെയ്യുന്നു
- **സ്റ്റോറേജ്**: മോഡലുകൾക്കായി 10GB+ ഫ്രീ സ്പേസ്
- **CPU**: AVX2 പിന്തുണയുള്ള ആധുനിക പ്രോസസർ
- **GPU** (ഐച്ഛികം): CUDA-സമർത്ഥിത അല്ലെങ്കിൽ Qualcomm NPU ആക്സിലറേഷനായി

**സോഫ്റ്റ്‌വെയർ ആവശ്യകതകൾ:**
- **Python 3.8+** ([Download](https://www.python.org/downloads/))
- **Microsoft Foundry Local** ([Installation Guide](../../../Workshop))
- **Git** ([Download](https://git-scm.com/downloads))
- **Visual Studio Code** (ശുപാർശ) ([Download](https://code.visualstudio.com/))

### 3 ഘട്ടങ്ങളിൽ സജ്ജീകരണം

#### 1. Foundry Local ഇൻസ്റ്റാൾ ചെയ്യുക

**Windows:**
```powershell
winget install Microsoft.FoundryLocal
```

**macOS:**
```bash
brew tap microsoft/foundrylocal
brew install foundrylocal
```

**സ്ഥാപനം സ്ഥിരീകരിക്കുക:**
```bash
foundry --version
foundry service status
```

**Azure AI Foundry Local സ്ഥിരമായ പോർട്ടിൽ പ്രവർത്തിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക**

```bash
# FoundryLocal പോർട്ട് 58123 (ഡിഫോൾട്ട്) ഉപയോഗിക്കാൻ സജ്ജമാക്കുക
foundry service set --port 58123 --show

# അല്ലെങ്കിൽ വ്യത്യസ്തമായ ഒരു പോർട്ട് ഉപയോഗിക്കുക
foundry service set --port 58000 --show
```

**പ്രവർത്തനക്ഷമമാണെന്ന് പരിശോധിക്കുക:**
```bash
# സേവന നില പരിശോധിക്കുക
foundry service status

# എന്റ്പോയിന്റ് പരീക്ഷിക്കുക
curl http://127.0.0.1:58123/v1/models
```
**ലഭ്യമായ മോഡലുകൾ കണ്ടെത്തൽ**
Foundry Local ഇൻസ്റ്റൻസിൽ ലഭ്യമായ മോഡലുകൾ കാണാൻ, മോഡലുകൾ എൻഡ്‌പോയിന്റ് ചോദ്യം ചെയ്യാം:

```bash
# കമാൻഡ്/ബാഷ്/പവർഷെൽ
foundry model list
```

Web Endpoint ഉപയോഗിച്ച് 

```bash
# വിൻഡോസ് പവർഷെൽ
powershell -Command "Invoke-RestMethod -Uri 'http://127.0.0.1:58123/v1/models' -Method Get"

# അല്ലെങ്കിൽ curl ഉപയോഗിച്ച് (ലഭ്യമായാൽ)
curl http://127.0.0.1:58123/v1/models
```

#### 2. റിപോസിറ്ററി ക്ലോൺ ചെയ്ത് ആശ്രിതങ്ങൾ ഇൻസ്റ്റാൾ ചെയ്യുക

```bash
# റിപ്പോസിറ്ററി ക്ലോൺ ചെയ്യുക
git clone https://github.com/microsoft/edgeai-for-beginners.git
cd edgeai-for-beginners/Workshop

# വെർച്വൽ എൻവയോൺമെന്റ് സൃഷ്ടിക്കുക
python -m venv .venv

# വെർച്വൽ എൻവയോൺമെന്റ് സജീവമാക്കുക
# വിൻഡോസ്:
.\.venv\Scripts\activate
# മാക്‌ഒഎസ്/ലിനക്സ്:
source .venv/bin/activate

# ആശ്രിതങ്ങൾ ഇൻസ്റ്റാൾ ചെയ്യുക
pip install -r requirements.txt
```

#### 3. നിങ്ങളുടെ ആദ്യ സാമ്പിൾ ഓടിക്കുക

```bash
# ഫൗണ്ട്രി ലോക്കൽ ആരംഭിച്ച് ഒരു മോഡൽ ലോഡ് ചെയ്യുക
foundry model run phi-4-mini

# ചാറ്റ് ബൂട്ട്‌സ്റ്റ്രാപ് സാമ്പിൾ പ്രവർത്തിപ്പിക്കുക
cd samples
python -m session01.chat_bootstrap "What is edge AI?"
```

**✅ വിജയിച്ചു!** എഡ്ജ് AI-യെക്കുറിച്ചുള്ള സ്ട്രീമിംഗ് പ്രതികരണം കാണണം.

---

## 📦 വർക്‌ഷോപ്പ് വിഭവങ്ങൾ

### Python സാമ്പിളുകൾ

ഓരോ ആശയവും പ്രദർശിപ്പിക്കുന്ന പുരോഗമന ഹാൻഡ്‌സ്-ഓൺ ഉദാഹരണങ്ങൾ:

| സെഷൻ | സാമ്പിൾ | വിവരണം | ഓടുന്ന സമയം |
|---------|--------|-------------|----------|
| 1 | [`chat_bootstrap.py`](../../../Workshop/samples/session01/chat_bootstrap.py) | അടിസ്ഥാനവും സ്ട്രീമിംഗ് ചാറ്റും | ~30 സെക്കൻഡ് |
| 2 | [`rag_pipeline.py`](../../../Workshop/samples/session02/rag_pipeline.py) | എംബെഡ്ഡിംഗുകളുള്ള RAG | ~45 സെക്കൻഡ് |
| 2 | [`rag_eval_ragas.py`](../../../Workshop/samples/session02/rag_eval_ragas.py) | RAG ഗുണമേന്മ വിലയിരുത്തൽ | ~60 സെക്കൻഡ് |
| 3 | [`benchmark_oss_models.py`](../../../Workshop/samples/session03/benchmark_oss_models.py) | മൾട്ടി-മോഡൽ ബെഞ്ച്മാർക്കിംഗ് | ~2-3 മിനിറ്റ് |
| 4 | [`model_compare.py`](../../../Workshop/samples/session04/model_compare.py) | SLM vs LLM താരതമ്യം | ~45 സെക്കൻഡ് |
| 5 | [`agents_orchestrator.py`](../../../Workshop/samples/session05/agents_orchestrator.py) | മൾട്ടി-ഏജന്റ് സിസ്റ്റം | ~60 സെക്കൻഡ് |
| 6 | [`models_router.py`](../../../Workshop/samples/session06/models_router.py) | ഉദ്ദേശ്യ അടിസ്ഥാന റൂട്ടിംഗ് | ~45 സെക്കൻഡ് |
| 6 | [`models_pipeline.py`](../../../Workshop/samples/session06/models_pipeline.py) | മൾട്ടി-സ്റ്റെപ്പ് പൈപ്പ്‌ലൈൻ | ~60 സെക്കൻഡ് |

### Jupyter നോട്ട്‌ബുക്കുകൾ

വിവരണങ്ങളോടും ദൃശ്യവത്കരണങ്ങളോടും കൂടിയ ഇന്ററാക്ടീവ് എക്സ്പ്ലോറേഷൻ:

| സെഷൻ | നോട്ട്‌ബുക്ക് | വിവരണം | ബുദ്ധിമുട്ട് |
|---------|----------|-------------|------------|
| 1 | [`session01_chat_bootstrap.ipynb`](./notebooks/session01_chat_bootstrap.ipynb) | ചാറ്റ് അടിസ്ഥാനങ്ങളും സ്ട്രീമിംഗും | ⭐ ആരംഭക |
| 2 | [`session02_rag_pipeline.ipynb`](./notebooks/session02_rag_pipeline.ipynb) | RAG സിസ്റ്റം നിർമ്മാണം | ⭐⭐ മധ്യസ്ഥ |
| 2 | [`session02_rag_eval_ragas.ipynb`](./notebooks/session02_rag_eval_ragas.ipynb) | RAG ഗുണമേന്മ വിലയിരുത്തൽ | ⭐⭐ മധ്യസ്ഥ |
| 3 | [`session03_benchmark_oss_models.ipynb`](./notebooks/session03_benchmark_oss_models.ipynb) | മോഡൽ ബെഞ്ച്മാർക്കിംഗ് | ⭐⭐ മധ്യസ്ഥ |
| 4 | [`session04_model_compare.ipynb`](./notebooks/session04_model_compare.ipynb) | മോഡൽ താരതമ്യം | ⭐⭐ മധ്യസ്ഥ |
| 5 | [`session05_agents_orchestrator.ipynb`](./notebooks/session05_agents_orchestrator.ipynb) | ഏജന്റ് ഓർക്കസ്ട്രേഷൻ | ⭐⭐⭐ ഉന്നത |
| 6 | [`session06_models_router.ipynb`](./notebooks/session06_models_router.ipynb) | ഉദ്ദേശ്യ റൂട്ടിംഗ് | ⭐⭐⭐ ഉന്നത |
| 6 | [`session06_models_pipeline.ipynb`](./notebooks/session06_models_pipeline.ipynb) | പൈപ്പ്‌ലൈൻ ഓർക്കസ്ട്രേഷൻ | ⭐⭐⭐ ഉന്നത |

### ഡോക്യുമെന്റേഷൻ

സമ്പൂർണ ഗൈഡുകളും റഫറൻസുകളും:

| ഡോക്യുമെന്റ് | വിവരണം | ഉപയോഗിക്കേണ്ട സമയം |
|----------|-------------|----------|
| [QUICK_START.md](./QUICK_START.md) | വേഗത്തിലുള്ള സജ്ജീകരണ ഗൈഡ് | തുടക്കം മുതൽ |
| [QUICK_REFERENCE.md](./QUICK_REFERENCE.md) | കമാൻഡ് & API ചീറ്റ് ഷീറ്റ് | വേഗം ഉത്തരം വേണമെങ്കിൽ |
| [FOUNDRY_SDK_QUICKREF.md](./FOUNDRY_SDK_QUICKREF.md) | SDK മാതൃകകളും ഉദാഹരണങ്ങളും | കോഡ് എഴുതുമ്പോൾ |
| [ENV_CONFIGURATION.md](./ENV_CONFIGURATION.md) | പരിസ്ഥിതി വേരിയബിൾ ഗൈഡ് | സാമ്പിളുകൾ കോൺഫിഗർ ചെയ്യുമ്പോൾ |
| [notebooks/TROUBLESHOOTING.md](./notebooks/TROUBLESHOOTING.md) | സാധാരണ പ്രശ്നങ്ങളും പരിഹാരങ്ങളും | ഡീബഗ്ഗിംഗ് ചെയ്യുമ്പോൾ |

---

## 🎓 പഠന പാത ശിപാർശകൾ

### ആരംഭക്കാർക്കായി (3-4 മണിക്കൂർ)
1. ✅ സെഷൻ 1: ആരംഭിക്കൽ (സജ്ജീകരണവും അടിസ്ഥാന ചാറ്റും)
2. ✅ സെഷൻ 2: RAG അടിസ്ഥാനങ്ങൾ (ആദ്യത്തിൽ വിലയിരുത്തൽ ഒഴിവാക്കുക)
3. ✅ സെഷൻ 3: ലളിതമായ ബെഞ്ച്മാർക്കിംഗ് (2 മോഡലുകൾ മാത്രം)
4. ⏭️ സെഷൻ 4-6 ഇപ്പോൾ ഒഴിവാക്കുക
5. 🔄 ആദ്യ ആപ്ലിക്കേഷൻ നിർമ്മിച്ചതിന് ശേഷം സെഷൻ 4-6-ലേക്ക് മടങ്ങുക

### മധ്യസ്ഥ ഡെവലപ്പർമാർക്കായി (3 മണിക്കൂർ)
1. ⚡ സെഷൻ 1: വേഗം സജ്ജീകരണം സ്ഥിരീകരിക്കുക
2. ✅ സെഷൻ 2: വിലയിരുത്തലോടെ RAG പൈപ്പ്‌ലൈൻ പൂർത്തിയാക്കുക
3. ✅ സെഷൻ 3: പൂർണ്ണ ബെഞ്ച്മാർക്കിംഗ് സ്യൂട്ട്
4. ✅ സെഷൻ 4: മോഡൽ മെച്ചപ്പെടുത്തൽ
5. ✅ സെഷൻ 5-6: ആർക്കിടെക്ചർ മാതൃകകളിൽ കേന്ദ്രീകരിക്കുക

### ഉന്നത പ്രാക്ടീഷണർമാർക്കായി (2-3 മണിക്കൂർ)
1. ⚡ സെഷൻ 1-3: വേഗം അവലോകനം, സ്ഥിരീകരണം
2. ✅ സെഷൻ 4: മെച്ചപ്പെടുത്തൽ ആഴത്തിൽ
3. ✅ സെഷൻ 5: മൾട്ടി-ഏജന്റ് ആർക്കിടെക്ചർ
4. ✅ സെഷൻ 6: പ്രൊഡക്ഷൻ മാതൃകകളും സ്കെയിലിംഗും
5. 🚀 വിപുലീകരിക്കുക: കസ്റ്റം റൂട്ടിംഗ് ലജിക്, ഹൈബ്രിഡ് വിന്യാസങ്ങൾ നിർമ്മിക്കുക

---

## വർക്‌ഷോപ്പ് സെഷൻ പാക്ക് (കേന്ദ്രീകൃത 30-മിനിറ്റ് ലാബുകൾ)

6-സെഷൻ സംക്ഷിപ്ത വർക്‌ഷോപ്പ് ഫോർമാറ്റ് പിന്തുടരുന്നവർക്ക്, ഈ സമർപ്പിത ഗൈഡുകൾ ഉപയോഗിക്കുക (ഓരോത് മുകളിൽ നൽകിയ വലിയ മോഡ്യൂൾ ഡോക്യുമെന്റേഷനുമായി പൊരുത്തപ്പെടുന്നു):

| വർക്‌ഷോപ്പ് സെഷൻ | ഗൈഡ് | പ്രധാന കേന്ദ്രീകൃതം |
|------------------|-------|------------|
| 1 | [Session01-GettingStartedFoundryLocal](./Session01-GettingStartedFoundryLocal.md) | ഇൻസ്റ്റാൾ, സ്ഥിരീകരണം, phi & GPT-OSS-20B ഓടിക്കൽ, ആക്സിലറേഷൻ |
| 2 | [Session02-BuildAISolutionsRAG](./Session02-BuildAISolutionsRAG.md) | പ്രോംപ്റ്റ് എഞ്ചിനീയറിംഗ്, RAG മാതൃകകൾ, CSV & ഡോക്യുമെന്റ് ഗ്രൗണ്ടിംഗ്, മൈഗ്രേഷൻ |
| 3 | [Session03-OpenSourceModels](./Session03-OpenSourceModels.md) | Hugging Face സംയോജനം, ബെഞ്ച്മാർക്കിംഗ്, മോഡൽ തിരഞ്ഞെടുപ്പ് |
| 4 | [Session04-CuttingEdgeModels](./Session04-CuttingEdgeModels.md) | SLM vs LLM, WebGPU, Chainlit RAG, ONNX ആക്സിലറേഷൻ |
| 5 | [Session05-AIPoweredAgents](./Session05-AIPoweredAgents.md) | ഏജന്റ് റോളുകൾ, മെമ്മറി, ടൂളുകൾ, ഓർക്കസ്ട്രേഷൻ |
| 6 | [Session06-ModelsAsTools](./Session06-ModelsAsTools.md) | റൂട്ടിംഗ്, ചെയിനിംഗ്, ആസ്യൂറിലേക്ക് സ്കെയിലിംഗ് പാത |

ഓരോ സെഷൻ ഫയലിലും ഉൾപ്പെടുന്നു: സംക്ഷേപം, പഠന ലക്ഷ്യങ്ങൾ, 30-മിനിറ്റ് ഡെമോ ഫ്ലോ, സ്റ്റാർട്ടർ പ്രോജക്ട്, വാലിഡേഷൻ ചെക്ക്ലിസ്റ്റ്, പ്രശ്നപരിഹാരം, ഔദ്യോഗിക ഫൗണ്ട്രി ലോക്കൽ പൈത്തൺ SDK-യിലേക്ക് റഫറൻസുകൾ.

### സാമ്പിൾ സ്ക്രിപ്റ്റുകൾ

വർക്ക്‌ഷോപ്പ് ഡിപ്പെൻഡൻസികൾ ഇൻസ്റ്റാൾ ചെയ്യുക (Windows):

```powershell
cd Workshop
py -m venv .venv
.\.venv\Scripts\activate
pip install -r requirements.txt
```

macOS / Linux:

```bash
cd Workshop
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
```

macOS-ൽ നിന്ന് വ്യത്യസ്തമായ (Windows) മെഷീൻ അല്ലെങ്കിൽ VM-ൽ ഫൗണ്ട്രി ലോക്കൽ സർവീസ് പ്രവർത്തിപ്പിക്കുന്നുവെങ്കിൽ, എൻഡ്‌പോയിന്റ് എക്സ്പോർട്ട് ചെയ്യുക:

```bash
export FOUNDRY_LOCAL_ENDPOINT=http://<windows-host>:5273/v1
```

| സെഷൻ | സ്ക്രിപ്റ്റ്(കൾ) | വിവരണം |
|---------|-----------|-------------|
| 1 | `samples/session01/chat_bootstrap.py` | ബൂട്ട്‌സ്റ്റ്രാപ്പ് സർവീസ് & സ്ട്രീമിംഗ് ചാറ്റ് |
| 2 | `samples/session02/rag_pipeline.py` | മിനിമൽ RAG (ഇൻ-മെമ്മറി എംബെഡ്ഡിംഗ്സ്) |
|   | `samples/session02/rag_eval_ragas.py` | RAG മൂല്യനിർണയം റാഗാസ് മെട്രിക്‌സുമായി |
| 3 | `samples/session03/benchmark_oss_models.py` | മൾട്ടി-മോഡൽ ലാറ്റൻസി & ത്രൂപുട്ട് ബെഞ്ച്മാർക്കിംഗ് |
| 4 | `samples/session04/model_compare.py` | SLM vs LLM താരതമ്യം (ലാറ്റൻസി & സാമ്പിൾ ഔട്ട്പുട്ട്) |
| 5 | `samples/session05/agents_orchestrator.py` | രണ്ട് ഏജന്റ് റിസർച്ച് → എഡിറ്റോറിയൽ പൈപ്പ്‌ലൈൻ |
| 6 | `samples/session06/models_router.py` | ഉദ്ദേശ്യ അടിസ്ഥാന റൂട്ടിംഗ് ഡെമോ |
|   | `samples/session06/models_pipeline.py` | മൾട്ടി-സ്റ്റെപ്പ് പ്ലാൻ/എക്സിക്യൂട്ട്/റിഫൈൻ ചെയിൻ |

### പരിസ്ഥിതി വേരിയബിളുകൾ (സാമ്പിളുകൾക്കിടയിൽ പൊതുവായി)

| വേരിയബിൾ | ഉദ്ദേശ്യം | ഉദാഹരണം |
|----------|---------|---------|
| `FOUNDRY_LOCAL_ALIAS` | അടിസ്ഥാന സാമ്പിളുകൾക്കുള്ള ഡിഫോൾട്ട് സിംഗിൾ മോഡൽ അലിയാസ് | `phi-4-mini` |
| `SLM_ALIAS` / `LLM_ALIAS` | താരതമ്യത്തിനായി വ്യക്തമായ SLM vs വലിയ മോഡൽ | `phi-4-mini` / `gpt-oss-20b` |
| `BENCH_MODELS` | ബെഞ്ച്മാർക്ക് ചെയ്യാനുള്ള അലിയാസുകളുടെ കോമ-separated ലിസ്റ്റ് | `qwen2.5-0.5b,mistral-7b` |
| `BENCH_ROUNDS` | ഓരോ മോഡലിനും ബെഞ്ച്മാർക്ക് ആവർത്തനങ്ങൾ | `3` |
| `BENCH_PROMPT` | ബെഞ്ച്മാർക്കിംഗിൽ ഉപയോഗിക്കുന്ന പ്രോംപ്റ്റ് | `Explain retrieval augmented generation briefly.` |
| `EMBED_MODEL` | സെന്റൻസ്-ട്രാൻസ്ഫോർമേഴ്സ് എംബെഡ്ഡിംഗ് മോഡൽ | `sentence-transformers/all-MiniLM-L6-v2` |
| `RAG_QUESTION` | RAG പൈപ്പ്‌ലൈൻ ടെസ്റ്റ് ക്വറി ഓവർറൈഡ് ചെയ്യുക | `Why use RAG with local inference?` |
| `AGENT_QUESTION` | ഏജന്റ്സ് പൈപ്പ്‌ലൈൻ ക്വറി ഓവർറൈഡ് ചെയ്യുക | `Explain why edge AI matters for compliance.` |
| `AGENT_MODEL_PRIMARY` | റിസർച്ച് ഏജന്റിനുള്ള മോഡൽ അലിയാസ് | `phi-4-mini` |
| `AGENT_MODEL_EDITOR` | എഡിറ്റർ ഏജന്റിനുള്ള മോഡൽ അലിയാസ് (വ്യത്യസ്തമായിരിക്കാം) | `gpt-oss-20b` |
| `SHOW_USAGE` | `1` ആണെങ്കിൽ, ഓരോ പൂർത്തീകരണത്തിനും ടോക്കൺ ഉപയോഗം പ്രിന്റ് ചെയ്യുക | `1` |
| `RETRY_ON_FAIL` | `1` ആണെങ്കിൽ, താൽക്കാലിക ചാറ്റ് പിശകുകളിൽ ഒരിക്കൽ വീണ്ടും ശ്രമിക്കുക | `1` |
| `RETRY_BACKOFF` | വീണ്ടും ശ്രമിക്കുന്നതിന് മുമ്പ് കാത്തിരിക്കാൻ സെക്കൻഡുകൾ | `1.0` |

ഒരു വേരിയബിൾ സജ്ജമാക്കിയിട്ടില്ലെങ്കിൽ, സ്ക്രിപ്റ്റുകൾ ബുദ്ധിമുട്ടില്ലാത്ത ഡിഫോൾട്ടുകളിലേക്ക് മടങ്ങും. സിംഗിൾ-മോഡൽ ഡെമോകൾക്കായി സാധാരണയായി `FOUNDRY_LOCAL_ALIAS` മാത്രം ആവശ്യമാണ്.

### യൂട്ടിലിറ്റി മോഡ്യൂൾ

ഇപ്പോൾ എല്ലാ സാമ്പിളുകളും പങ്കുവെക്കുന്ന ഒരു ഹെൽപ്പർ `samples/workshop_utils.py` നൽകുന്നു:

* കാഷ് ചെയ്ത `FoundryLocalManager` + OpenAI ക്ലയന്റ് സൃഷ്ടി
* ഓപ്ഷണൽ റിട്രൈ + ഉപയോഗം പ്രിന്റിംഗ് ഉള്ള `chat_once()` ഹെൽപ്പർ
* ലളിതമായ ടോക്കൺ ഉപയോഗ റിപ്പോർട്ടിംഗ് (`SHOW_USAGE=1` വഴി സജീവമാക്കാം)

ഇത് പുനരാവൃതിയെ കുറയ്ക്കുകയും പ്രാദേശിക മോഡൽ ഓർക്കസ്ട്രേഷൻ കാര്യക്ഷമമാക്കാനുള്ള മികച്ച പ്രാക്ടീസുകൾ പ്രദർശിപ്പിക്കുകയും ചെയ്യുന്നു.

## ഓപ്ഷണൽ മെച്ചപ്പെടുത്തലുകൾ (ക്രോസ്-സെഷൻ)

| തീം | മെച്ചപ്പെടുത്തൽ | സെഷനുകൾ | പരിസ്ഥിതി / ടോഗിൾ |
|-------|-------------|----------|--------------|
| നിർണ്ണായകത | സ്ഥിരമായ താപനില + സ്ഥിരമായ പ്രോംപ്റ്റ് സെറ്റുകൾ | 1–6 | `temperature=0`, `top_p=1` സജ്ജമാക്കുക |
| ടോക്കൺ ഉപയോഗ ദൃശ്യീകരണം | സ്ഥിരമായ ചെലവ്/ക്ഷമത പഠനം | 1–6 | `SHOW_USAGE=1` |
| സ്ട്രീമിംഗ് ആദ്യ ടോക്കൺ | അനുഭവിച്ച ലാറ്റൻസി മെട്രിക് | 1,3,4,6 | `BENCH_STREAM=1` (ബെഞ്ച്മാർക്ക്) |
| റിട്രൈ പ്രതിരോധം | താൽക്കാലിക കോൾഡ്-സ്റ്റാർട്ട് കൈകാര്യം ചെയ്യുന്നു | എല്ലാം | `RETRY_ON_FAIL=1` + `RETRY_BACKOFF` |
| മൾട്ടി-മോഡൽ ഏജന്റ്സ് | വ്യത്യസ്തമായ റോളുകൾ സ്പെഷ്യലൈസേഷൻ | 5 | `AGENT_MODEL_PRIMARY`, `AGENT_MODEL_EDITOR` |
| അഡാപ്റ്റീവ് റൂട്ടിംഗ് | ഉദ്ദേശ്യ + ചെലവ് ഹ്യൂറിസ്റ്റിക്സ് | 6 | റൂട്ടറിനെ എസ്കലേഷൻ ലജിക് ഉപയോഗിച്ച് വിപുലീകരിക്കുക |
| വെക്ടർ മെമ്മറി | ദീർഘകാല സാംവേദനാത്മക ഓർമ്മ | 2,5,6 | FAISS/Chroma എംബെഡ്ഡിംഗ് ഇൻഡക്സ് സംയോജിപ്പിക്കുക |
| ട്രേസ് എക്സ്പോർട്ട് | ഓഡിറ്റിംഗ് & മൂല്യനിർണയം | 2,5,6 | ഓരോ ഘട്ടത്തിനും JSON ലൈൻസ് ചേർക്കുക |
| ഗുണനിലവാര റൂബ്രിക്സ് | ഗുണനിലവാര ട്രാക്കിംഗ് | 3–6 | സെക്കൻഡറി സ്കോറിംഗ് പ്രോംപ്റ്റുകൾ |
| സ്മോക്ക് ടെസ്റ്റുകൾ | വേഗത്തിലുള്ള പ്രീ-വർക്ക്‌ഷോപ്പ് വാലിഡേഷൻ | എല്ലാം | `python Workshop/tests/smoke.py` |

### നിർണ്ണായക ക്വിക്ക് സ്റ്റാർട്ട്

```powershell
set FOUNDRY_LOCAL_ALIAS=phi-4-mini
set SHOW_USAGE=1
python Workshop\tests\smoke.py
```

ഒരേ ഇൻപുട്ടുകൾ ആവർത്തിക്കുമ്പോൾ സ്ഥിരമായ ടോക്കൺ എണ്ണം പ്രതീക്ഷിക്കുക.

### RAG മൂല്യനിർണയം (സെഷൻ 2)

ചെറിയ സിന്തറ്റിക് ഡാറ്റാസെറ്റിൽ ഉത്തരം പ്രസക്തി, വിശ്വസ്തത, കോൺടെക്സ്റ്റ് പ്രിസിഷൻ കണക്കാക്കാൻ `rag_eval_ragas.py` ഉപയോഗിക്കുക:

```powershell
cd Workshop/samples
python -m session02.rag_eval_ragas
```

വലിയ JSONL ക്വസ്റ്റ്യൻസുകൾ, കോൺടെക്സ്റ്റുകൾ, ഗ്രൗണ്ട് ട്രൂത്തുകൾ നൽകിയും, പിന്നീട് ഹഗ്ഗിംഗ് ഫെയ്‌സ് `Dataset` ആയി മാറ്റിയും വിപുലീകരിക്കുക.

## CLI കമാൻഡ് കൃത്യത അനുബന്ധം

വർക്ക്‌ഷോപ്പ് ഉദ്ദേശപൂർവ്വം നിലവിലുള്ള രേഖപ്പെടുത്തിയ / സ്ഥിരമായ ഫൗണ്ട്രി ലോക്കൽ CLI കമാൻഡുകൾ മാത്രം ഉപയോഗിക്കുന്നു.

### സ്ഥിരമായ കമാൻഡുകൾ

| വിഭാഗം | കമാൻഡ് | ഉദ്ദേശ്യം |
|----------|---------|---------|
| കോർ | `foundry --version` | ഇൻസ്റ്റാൾ ചെയ്ത പതിപ്പ് കാണിക്കുക |
| സർവീസ് | `foundry service start` | ലോക്കൽ സർവീസ് ആരംഭിക്കുക (ഓട്ടോ അല്ലെങ്കിൽ) |
| സർവീസ് | `foundry service status` | സർവീസ് നില കാണിക്കുക |
| മോഡലുകൾ | `foundry model list` | കാറ്റലോഗ് / ലഭ്യമായ മോഡലുകൾ ലിസ്റ്റ് ചെയ്യുക |
| മോഡലുകൾ | `foundry model download <alias>` | മോഡൽ വെയ്റ്റുകൾ കാഷിലേക്ക് ഡൗൺലോഡ് ചെയ്യുക |
| മോഡലുകൾ | `foundry model run <alias>` | ഒരു മോഡൽ ലോക്കലായി ലോഞ്ച് ചെയ്യുക; ഒറ്റ ഷോട്ട് വേണ്ടി `--prompt` ഉപയോഗിക്കുക |
| മോഡലുകൾ | `foundry model unload <alias>` / `foundry model stop <alias>` | മെമ്മറിയിൽ നിന്ന് മോഡൽ അൺലോഡ് ചെയ്യുക (സഹായിക്കുന്നുവെങ്കിൽ) |
| കാഷ് | `foundry cache list` | കാഷ് ചെയ്ത (ഡൗൺലോഡ് ചെയ്ത) മോഡലുകൾ ലിസ്റ്റ് ചെയ്യുക |

### ഒറ്റ ഷോട്ട് പ്രോംപ്റ്റ് പാറ്റേൺ

പഴയ `model chat` സബ്‌കമാൻഡ് ഒഴിവാക്കി, ഉപയോഗിക്കുക:

```powershell
foundry model run <alias> --prompt "Your question here"
```

ഇത് ഒരു പ്രോംപ്റ്റ്/പ്രതികരണ ചക്രം നടത്തുകയും പിന്നീട് പുറത്തുകടക്കുകയും ചെയ്യും.

### നീക്കം ചെയ്ത / ഒഴിവാക്കിയ പാറ്റേണുകൾ

| പഴയ / രേഖപ്പെടുത്തിയിട്ടില്ലാത്തത് | പകരം / മാർഗ്ഗനിർദ്ദേശം |
|---------------------------|------------------------|
| `foundry model chat <model> "..."` | `foundry model run <model> --prompt "..."` |
| `foundry model list --running` | സാധാരണ `foundry model list` + പുതിയ പ്രവർത്തനങ്ങൾ / ലോഗുകൾ ഉപയോഗിക്കുക |
| `foundry model list --cached` | `foundry cache list` |
| `foundry model stats <model>` | ബെഞ്ച്മാർക്ക് പൈത്തൺ സ്ക്രിപ്റ്റ് + OS ടൂൾസ് (ടാസ്‌ക് മാനേജർ / `nvidia-smi`) ഉപയോഗിക്കുക |
| `foundry model benchmark ...` | `samples/session03/benchmark_oss_models.py` |

### ബെഞ്ച്മാർക്കിംഗ് & ടെലിമെട്രി

- ലാറ്റൻസി, p95, ടോക്കൺ/സെക്കൻഡ്: `samples/session03/benchmark_oss_models.py`
- ആദ്യ ടോക്കൺ ലാറ്റൻസി (സ്ട്രീമിംഗ്): `BENCH_STREAM=1` സജ്ജമാക്കുക
- റിസോഴ്‌സ് ഉപയോഗം: OS മോണിറ്ററുകൾ (ടാസ്‌ക് മാനേജർ, ആക്ടിവിറ്റി മോണിറ്റർ, `nvidia-smi`).

പുതിയ CLI ടെലിമെട്രി കമാൻഡുകൾ മുകളിൽ സ്ഥിരമാകുമ്പോൾ, സെഷൻ മാർക്ക്ഡൗണുകളിൽ കുറഞ്ഞ മാറ്റങ്ങളോടെ ഉൾപ്പെടുത്താം.

### ഓട്ടോമേറ്റഡ് ലിന്റ് ഗാർഡ്

ഒരു ഓട്ടോമേറ്റഡ് ലിന്റർ മാർക്ക്ഡൗൺ ഫയലുകളിലെ കോഡ് ബ്ലോക്കുകളിൽ പഴയ CLI പാറ്റേണുകൾ വീണ്ടും വരുന്നത് തടയുന്നു:

സ്ക്രിപ്റ്റ്: `Workshop/scripts/lint_markdown_cli.py`

പഴയ പാറ്റേണുകൾ കോഡ് ഫെൻസുകളിൽ തടയപ്പെടുന്നു.

ശുപാർശ ചെയ്ത പകരം:
| പഴയത് | പകരം |
|------------|-------------|
| `foundry model chat <a> "..."` | `foundry model run <a> --prompt "..."` |
| `model list --running` | `model list` |
| `model list --cached` | `cache list` |
| `model stats` | ബെഞ്ച്മാർക്ക് സ്ക്രിപ്റ്റ് + സിസ്റ്റം ടൂൾസ് |
| `model benchmark` | `samples/session03/benchmark_oss_models.py` |
| `model list --available` | `model list` |

ലോക്കലായി പ്രവർത്തിപ്പിക്കുക:
```powershell
python Workshop\scripts\lint_markdown_cli.py --verbose
```

GitHub ആക്ഷൻ: `.github/workflows/markdown-cli-lint.yml` ഓരോ പുഷ് & PR-ലും പ്രവർത്തിക്കുന്നു.

ഓപ്ഷണൽ പ്രീ-കമ്മിറ്റ് ഹുക്ക്:
```bash
echo "python Workshop/scripts/lint_markdown_cli.py" > .git/hooks/pre-commit
chmod +x .git/hooks/pre-commit
```

## ക്വിക്ക് CLI → SDK മൈഗ്രേഷൻ ടേബിൾ

| ടാസ്‌ക് | CLI ഒറ്റ വരി | SDK (Python) സമാനമായത് | കുറിപ്പുകൾ |
|------|---------------|-------------------------|-------|
| ഒരു മോഡൽ ഒരിക്കൽ ഓടിക്കുക (പ്രോംപ്റ്റ്) | `foundry model run phi-4-mini --prompt "Hello"` | `manager=FoundryLocalManager("phi-4-mini"); client=OpenAI(base_url=manager.endpoint, api_key=manager.api_key or "not-needed"); client.chat.completions.create(model=manager.get_model_info("phi-4-mini").id, messages=[{"role":"user","content":"Hello"}])` | SDK സ്വയം സർവീസ് & കാഷിംഗ് ബൂട്ട്‌സ്റ്റ്രാപ്പ് ചെയ്യുന്നു |
| മോഡൽ ഡൗൺലോഡ് (കാഷ്) ചെയ്യുക | `foundry model download qwen2.5-0.5b` | `FoundryLocalManager("qwen2.5-0.5b")  # ഡൗൺലോഡ്/ലോഡ് ട്രിഗർ ചെയ്യുന്നു` | അലിയാസ് പല ബിൽഡുകൾക്ക് മാപ്പ് ചെയ്താൽ മാനേജർ മികച്ച വേരിയന്റ് തിരഞ്ഞെടുക്കും |
| കാറ്റലോഗ് ലിസ്റ്റ് ചെയ്യുക | `foundry model list` | `# ഓരോ അലിയാസിനും മാനേജർ ഉപയോഗിക്കുക അല്ലെങ്കിൽ അറിയപ്പെടുന്ന ലിസ്റ്റ് നിലനിർത്തുക` | CLI സംഗ്രഹിക്കുന്നു; SDK ഇപ്പോൾ ഓരോ അലിയാസിനും ഇൻസ്റ്റാൻഷ്യേഷൻ |
| കാഷ് ചെയ്ത മോഡലുകൾ ലിസ്റ്റ് ചെയ്യുക | `foundry cache list` | `manager.list_cached_models()` | മാനേജർ ഇൻഷിയലൈസ് ചെയ്ത ശേഷം (ഏതെങ്കിലും അലിയാസ്) |
| എൻഡ്‌പോയിന്റ് URL നേടുക | (ഇംപ്ലിസിറ്റ്) | `manager.endpoint` | OpenAI-സമാന ക്ലയന്റ് സൃഷ്ടിക്കാൻ ഉപയോഗിക്കുന്നു |
| മോഡൽ വാര്മ് ചെയ്യുക | `foundry model run <alias>` ശേഷം ആദ്യ പ്രോംപ്റ്റ് | `chat_once(alias, messages=[...])` (യൂട്ടിലിറ്റി) | യൂട്ടിലിറ്റികൾ പ്രാഥമിക തണുത്ത ലാറ്റൻസി വാര്മപ്പ് കൈകാര്യം ചെയ്യുന്നു |
| ലാറ്റൻസി അളക്കുക | `python -m session03.benchmark_oss_models` | `import benchmark_oss_models` (അല്ലെങ്കിൽ പുതിയ എക്സ്പോർട്ടർ സ്ക്രിപ്റ്റ്) | സ്ഥിരമായ മെട്രിക്‌സിനായി സ്ക്രിപ്റ്റ് പ്രിഫർ ചെയ്യുക |
| മോഡൽ നിർത്തുക / അൺലോഡ് ചെയ്യുക | `foundry model unload <alias>` | (പ്രകടിപ്പിച്ചിട്ടില്ല – സർവീസ് / പ്രോസസ് റീസ്റ്റാർട്ട് ചെയ്യുക) | സാധാരണയായി വർക്ക്‌ഷോപ്പ് ഫ്ലോയ്ക്ക് ആവശ്യമില്ല |
| ടോക്കൺ ഉപയോഗം ലഭിക്കുക | (ഔട്ട്പുട്ട് കാണുക) | `resp.usage.total_tokens` | ബാക്ക്‌എൻഡ് ഉപയോഗം ഒബ്ജക്റ്റ് നൽകുന്നുവെങ്കിൽ ലഭ്യമാണ് |

## ബെഞ്ച്മാർക്ക് മാർക്ക്ഡൗൺ എക്സ്പോർട്ട്

പുതിയ ബെഞ്ച്മാർക്ക് നടത്താൻ `Workshop/scripts/export_benchmark_markdown.py` സ്ക്രിപ്റ്റ് ഉപയോഗിക്കുക (`samples/session03/benchmark_oss_models.py` പോലെയുള്ള ലജിക്) കൂടാതെ GitHub-സൗഹൃദ മാർക്ക്ഡൗൺ ടേബിൾ + റോ JSON പുറപ്പെടുവിക്കുക.

### ഉദാഹരണം

```powershell
python Workshop\scripts\export_benchmark_markdown.py --models "qwen2.5-0.5b,mistral-7b" --prompt "Explain retrieval augmented generation briefly." --rounds 3 --output benchmark_report.md
```

സൃഷ്ടിച്ച ഫയലുകൾ:
| ഫയൽ | ഉള്ളടക്കം |
|------|----------|
| `benchmark_report.md` | മാർക്ക്ഡൗൺ ടേബിൾ + വ്യാഖ്യാന സൂചനകൾ |
| `benchmark_report.json` | റോ മെട്രിക്‌സ് അറേ (ഡിഫ്/ട്രെൻഡ് ട്രാക്കിംഗിന്) |

ആദ്യ ടോക്കൺ ലാറ്റൻസി ഉൾപ്പെടുത്താൻ പരിസ്ഥിതിയിൽ `BENCH_STREAM=1` സജ്ജമാക്കുക, പിന്തുണയുണ്ടെങ്കിൽ.

---

<!-- CO-OP TRANSLATOR DISCLAIMER START -->
**അസൂയാപത്രം**:  
ഈ രേഖ AI വിവർത്തന സേവനം [Co-op Translator](https://github.com/Azure/co-op-translator) ഉപയോഗിച്ച് വിവർത്തനം ചെയ്തതാണ്. നാം കൃത്യതയ്ക്ക് ശ്രമിച്ചിട്ടുണ്ടെങ്കിലും, യന്ത്രം ചെയ്ത വിവർത്തനങ്ങളിൽ പിശകുകൾ അല്ലെങ്കിൽ തെറ്റുകൾ ഉണ്ടാകാമെന്ന് ദയവായി ശ്രദ്ധിക്കുക. അതിന്റെ മാതൃഭാഷയിലുള്ള യഥാർത്ഥ രേഖ അധികാരപരമായ ഉറവിടമായി കണക്കാക്കണം. നിർണായക വിവരങ്ങൾക്ക്, പ്രൊഫഷണൽ മനുഷ്യ വിവർത്തനം ശുപാർശ ചെയ്യപ്പെടുന്നു. ഈ വിവർത്തനം ഉപയോഗിക്കുന്നതിൽ നിന്നുണ്ടാകുന്ന ഏതെങ്കിലും തെറ്റിദ്ധാരണകൾക്കോ തെറ്റായ വ്യാഖ്യാനങ്ങൾക്കോ ഞങ്ങൾ ഉത്തരവാദികളല്ല.
<!-- CO-OP TRANSLATOR DISCLAIMER END -->