# ಮಾದರಿ 04: ಚೈನ್‌ಲಿಟ್ ಬಳಸಿ ಉತ್ಪಾದನಾ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಮೈಕ್ರೋಸಾಫ್ಟ್ ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಬಳಸಿ ಉತ್ಪಾದನಾ-ಸಿದ್ಧ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವ ವಿವಿಧ ವಿಧಾನಗಳನ್ನು ತೋರಿಸುವ ಸಮಗ್ರ ಮಾದರಿ, ಆಧುನಿಕ ವೆಬ್ ಇಂಟರ್ಫೇಸ್ಗಳು, ಸ್ಟ್ರೀಮಿಂಗ್ ಪ್ರತಿಕ್ರಿಯೆಗಳು ಮತ್ತು ಅತ್ಯಾಧುನಿಕ ಬ್ರೌಸರ್ ತಂತ್ರಜ್ಞಾನಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ## ಒಳಗೊಂಡಿರುವುದು - **🚀 ಚೈನ್‌ಲಿಟ್ ಚಾಟ್ ಅಪ್** (`app.py`): ಸ್ಟ್ರೀಮಿಂಗ್ ಹೊಂದಿರುವ ಉತ್ಪಾದನಾ-ಸಿದ್ಧ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ - **🌐 ವೆಬ್‌ಜಿಪಿಯು ಡೆಮೊ** (`webgpu-demo/`): ಹಾರ್ಡ್‌ವೇರ್ ವೇಗವರ್ಧನೆ ಹೊಂದಿರುವ ಬ್ರೌಸರ್ ಆಧಾರಿತ AI ನಿರ್ಣಯ - **🎨 ಓಪನ್ ವೆಬ್‌ಯುಐ ಇಂಟಿಗ್ರೇಶನ್** (`open-webui-guide.md`): ವೃತ್ತಿಪರ ChatGPT-ಹೋಲುವ ಇಂಟರ್ಫೇಸ್ - **📚 ಶೈಕ್ಷಣಿಕ ನೋಟ್ಬುಕ್** (`chainlit_app.ipynb`): ಸಂವಹನಾತ್ಮಕ ಅಧ್ಯಯನ ಸಾಮಗ್ರಿಗಳು ## ತ್ವರಿತ ಪ್ರಾರಂಭ ### 1. ಚೈನ್‌ಲಿಟ್ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ ```cmd # Navigate to Module08 directory cd Module08 # Start your model foundry model run phi-4-mini # Run Chainlit app (using port 8080 to avoid conflicts) chainlit run samples\04\app.py -w --port 8080 ``` ತೆರೆಯುತ್ತದೆ: `http://localhost:8080` ### 2. ವೆಬ್‌ಜಿಪಿಯು ಬ್ರೌಸರ್ ಡೆಮೊ ```cmd # Navigate to WebGPU demo cd Module08\samples\04\webgpu-demo # Serve the demo python -m http.server 5173 ``` ತೆರೆಯುತ್ತದೆ: `http://localhost:5173` ### 3. ಓಪನ್ ವೆಬ್‌ಯುಐ ಸೆಟ್‌ಅಪ್ ```cmd # Run Open WebUI with Docker docker run -d --name open-webui -p 3000:8080 \ -e OPENAI_API_BASE_URL=http://host.docker.internal:51211/v1 \ -e OPENAI_API_KEY=foundry-local-key \ ghcr.io/open-webui/open-webui:main ``` ತೆರೆಯುತ್ತದೆ: `http://localhost:3000` ## ವಾಸ್ತುಶಿಲ್ಪ ಮಾದರಿಗಳು ### ಲೋಕಲ್ ಮತ್ತು ಕ್ಲೌಡ್ ನಿರ್ಧಾರ ಮ್ಯಾಟ್ರಿಕ್ಸ್ | ದೃಶ್ಯ | ಶಿಫಾರಸು | ಕಾರಣ | |----------|----------------|--------| | **ಗೌಪ್ಯತೆಯ ಸಂವೇದನಾಶೀಲ ಡೇಟಾ** | 🏠 ಲೋಕಲ್ (ಫೌಂಡ್ರಿ) | ಡೇಟಾ ಸಾಧನದಿಂದ ಹೊರಗೆ ಹೋಗುವುದಿಲ್ಲ | | **ಸಂಕೀರ್ಣ ತರ್ಕ** | ☁️ ಕ್ಲೌಡ್ (ಅಜೂರ್ ಓಪನ್‌ಎಐ) | ದೊಡ್ಡ ಮಾದರಿಗಳಿಗೆ ಪ್ರವೇಶ | | **ರಿಯಲ್-ಟೈಮ್ ಚಾಟ್** | 🏠 ಲೋಕಲ್ (ಫೌಂಡ್ರಿ) | ಕಡಿಮೆ ವಿಳಂಬ, ವೇಗವಾದ ಪ್ರತಿಕ್ರಿಯೆಗಳು | | **ದಾಖಲೆ ವಿಶ್ಲೇಷಣೆ** | 🔄 ಸಂಯುಕ್ತ | ಹೊರತೆಗೆಯಲು ಲೋಕಲ್, ವಿಶ್ಲೇಷಣೆಗೆ ಕ್ಲೌಡ್ | | **ಕೋಡ್ ರಚನೆ** | 🏠 ಲೋಕಲ್ (ಫೌಂಡ್ರಿ) | ಗೌಪ್ಯತೆ + ವಿಶೇಷ ಮಾದರಿಗಳು | | **ಶೋಧನಾ ಕಾರ್ಯಗಳು** | ☁️ ಕ್ಲೌಡ್ (ಅಜೂರ್ ಓಪನ್‌ಎಐ) | ವ್ಯಾಪಕ ಜ್ಞಾನ ಆಧಾರ ಅಗತ್ಯ | ### ತಂತ್ರಜ್ಞಾನ ಹೋಲಿಕೆ | ತಂತ್ರಜ್ಞಾನ | ಬಳಕೆ | ಲಾಭಗಳು | ನಷ್ಟಗಳು | |------------|----------|------|------| | **ಚೈನ್‌ಲಿಟ್** | ಪೈಥಾನ್ ಡೆವಲಪರ್‌ಗಳು, ವೇಗದ ಪ್ರೋಟೋಟೈಪಿಂಗ್ | ಸುಲಭ ಸೆಟ್‌ಅಪ್, ಸ್ಟ್ರೀಮಿಂಗ್ ಬೆಂಬಲ | ಪೈಥಾನ್ ಮಾತ್ರ | | **ವೆಬ್‌ಜಿಪಿಯು** | ಗರಿಷ್ಠ ಗೌಪ್ಯತೆ, ಆಫ್‌ಲೈನ್ ಸಂದರ್ಭಗಳು | ಬ್ರೌಸರ್-ಸ್ವದೇಶಿ, ಸರ್ವರ್ ಅಗತ್ಯವಿಲ್ಲ | ಮಾದರಿ ಗಾತ್ರ ಸೀಮಿತ | | **ಓಪನ್ ವೆಬ್‌ಯುಐ** | ಉತ್ಪಾದನಾ ನಿಯೋಜನೆ, ತಂಡಗಳು | ವೃತ್ತಿಪರ UI, ಬಳಕೆದಾರ ನಿರ್ವಹಣೆ | ಡಾಕರ್ ಅಗತ್ಯ | ## ಪೂರ್ವಾಪೇಕ್ಷಿತಗಳು - **ಫೌಂಡ್ರಿ ಲೋಕಲ್**: ಸ್ಥಾಪಿತ ಮತ್ತು ಚಾಲನೆಯಲ್ಲಿದೆ ([ಡೌನ್‌ಲೋಡ್](https://aka.ms/foundry-local-installer)) - **ಪೈಥಾನ್**: 3.10+ ವರ್ಚುವಲ್ ಎನ್ವಿರಾನ್‌ಮೆಂಟ್ ಜೊತೆಗೆ - **ಮಾದರಿ**: ಕನಿಷ್ಠ ಒಂದು ಲೋಡ್ ಆಗಿದೆ (`foundry model run phi-4-mini`) - **ಬ್ರೌಸರ್**: ಡೆಮೊಗಳಿಗೆ ವೆಬ್‌ಜಿಪಿಯು ಬೆಂಬಲದ ಕ್ರೋಮ್/ಎಡ್ಜ್ - **ಡಾಕರ್**: ಓಪನ್ ವೆಬ್‌ಯುಐಗಾಗಿ (ಐಚ್ಛಿಕ) ## ಸ್ಥಾಪನೆ ಮತ್ತು ಸೆಟ್‌ಅಪ್ ### 1. ಪೈಥಾನ್ ಪರಿಸರ ಸೆಟ್‌ಅಪ್ ```cmd # Navigate to Module08 directory cd Module08 # Create and activate virtual environment py -m venv .venv .venv\Scripts\activate # Install dependencies pip install -r requirements.txt ``` ### 2. ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಸೆಟ್‌ಅಪ್ ```cmd # Verify Foundry Local installation foundry --version # Start the service foundry service start # Load a model foundry model run phi-4-mini # Verify model is running foundry service ps ``` ## ಮಾದರಿ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ### ಚೈನ್‌ಲಿಟ್ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ **ವೈಶಿಷ್ಟ್ಯಗಳು:** - 🚀 **ರಿಯಲ್-ಟೈಮ್ ಸ್ಟ್ರೀಮಿಂಗ್**: ಟೋಕನ್‌ಗಳು ರಚನೆಯಾಗುತ್ತಲೇ ಕಾಣಿಸುತ್ತವೆ - 🛡️ **ದೃಢ ದೋಷ ನಿರ್ವಹಣೆ**: ಸೌಮ್ಯ ಕುಸಿತ ಮತ್ತು ಪುನಃಸ್ಥಾಪನೆ - 🎨 **ಆಧುನಿಕ UI**: ಬಾಕ್ಸ್‌ನಿಂದ ವೃತ್ತಿಪರ ಚಾಟ್ ಇಂಟರ್ಫೇಸ್ - 🔧 **ಲವಚಿಕ ಸಂರಚನೆ**: ಪರಿಸರ ಚರಗಳು ಮತ್ತು ಸ್ವಯಂ-ಗುರುತುಮಾಡಿಕೊಳ್ಳುವಿಕೆ - 📱 **ಪ್ರತಿಕ್ರಿಯಾಶೀಲ ವಿನ್ಯಾಸ**: ಡೆಸ್ಕ್‌ಟಾಪ್ ಮತ್ತು ಮೊಬೈಲ್ ಸಾಧನಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಣೆ **ತ್ವರಿತ ಪ್ರಾರಂಭ:** ```cmd # Run with default settings (recommended) chainlit run samples\04\app.py -w --port 8080 # Use specific model set MODEL=qwen2.5-7b chainlit run samples\04\app.py -w --port 8080 # Manual endpoint configuration set BASE_URL=http://localhost:51211 set API_KEY=your-api-key chainlit run samples\04\app.py -w --port 8080 ``` ### ವೆಬ್‌ಜಿಪಿಯು ಬ್ರೌಸರ್ ಡೆಮೊ **ವೈಶಿಷ್ಟ್ಯಗಳು:** - 🌐 **ಬ್ರೌಸರ್-ಸ್ವದೇಶಿ AI**: ಸರ್ವರ್ ಅಗತ್ಯವಿಲ್ಲ, ಸಂಪೂರ್ಣವಾಗಿ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ - ⚡ **ವೆಬ್‌ಜಿಪಿಯು ವೇಗವರ್ಧನೆ**: ಲಭ್ಯವಿದ್ದರೆ ಹಾರ್ಡ್‌ವೇರ್ ವೇಗವರ್ಧನೆ - 🔒 **ಗರಿಷ್ಠ ಗೌಪ್ಯತೆ**: ನಿಮ್ಮ ಸಾಧನದಿಂದ ಡೇಟಾ ಹೊರಗೆ ಹೋಗುವುದಿಲ್ಲ - 🎯 **ಶೂನ್ಯ ಸ್ಥಾಪನೆ**: ಯಾವುದೇ ಹೊಂದಾಣಿಕೆಯ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ - 🔄 **ಸೌಮ್ಯ ಬ್ಯಾಕ್ಅಪ್**: ವೆಬ್‌ಜಿಪಿಯು ಲಭ್ಯವಿಲ್ಲದಿದ್ದರೆ CPU ಗೆ ಬದಲಾವಣೆ **ಚಾಲನೆ:** ```cmd cd samples\04\webgpu-demo python -m http.server 5173 # Open http://localhost:5173 ``` ### ಓಪನ್ ವೆಬ್‌ಯುಐ ಇಂಟಿಗ್ರೇಶನ್ **ವೈಶಿಷ್ಟ್ಯಗಳು:** - 🎨 **ChatGPT-ಹೋಲುವ ಇಂಟರ್ಫೇಸ್**: ವೃತ್ತಿಪರ, ಪರಿಚಿತ UI - 👥 **ಬಹು-ಬಳಕೆದಾರ ಬೆಂಬಲ**: ಬಳಕೆದಾರ ಖಾತೆಗಳು ಮತ್ತು ಸಂಭಾಷಣೆ ಇತಿಹಾಸ - 📁 **ದಾಖಲೆ ಪ್ರಕ್ರಿಯೆ**: ಅಪ್‌ಲೋಡ್ ಮಾಡಿ ಮತ್ತು ದಾಖಲೆಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಿ - 🔄 **ಮಾದರಿ ಬದಲಾವಣೆ**: ವಿಭಿನ್ನ ಮಾದರಿಗಳ ನಡುವೆ ಸುಲಭ ಬದಲಾವಣೆ - 🐳 **ಡಾಕರ್ ನಿಯೋಜನೆ**: ಉತ್ಪಾದನಾ-ಸಿದ್ಧ ಕಂಟೈನರ್ ಸೆಟ್‌ಅಪ್ **ತ್ವರಿತ ಸೆಟ್‌ಅಪ್:** ```cmd docker run -d --name open-webui -p 3000:8080 \ -e OPENAI_API_BASE_URL=http://host.docker.internal:51211/v1 \ -e OPENAI_API_KEY=foundry-local-key \ ghcr.io/open-webui/open-webui:main ``` ## ಸಂರಚನಾ ಉಲ್ಲೇಖ ### ಪರಿಸರ ಚರಗಳು | ಚರ | ವಿವರಣೆ | ಡೀಫಾಲ್ಟ್ | ಉದಾಹರಣೆ | |----------|-------------|---------|----------| | `MODEL` | ಬಳಸುವ ಮಾದರಿ ಅಲಿಯಾಸ್ | `phi-4-mini` | `qwen2.5-7b` | | `BASE_URL` | ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಎಂಡ್‌ಪಾಯಿಂಟ್ | ಸ್ವಯಂ-ಗುರುತಿಸಲಾಗಿದೆ | `http://localhost:51211` | | `API_KEY` | API ಕೀ (ಲೋಕಲ್‌ಗೆ ಐಚ್ಛಿಕ) | `""` | `your-api-key` | ## ಸಮಸ್ಯೆ ಪರಿಹಾರ ### ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳು **ಚೈನ್‌ಲಿಟ್ ಅಪ್ಲಿಕೇಶನ್:** 1. **ಸೇವೆಯು ಲಭ್ಯವಿಲ್ಲ:** ```cmd # Check Foundry Local status foundry service status foundry service ps # Validate API endpoint (note: port 51211) curl http://localhost:51211/v1/models ``` 2. **ಪೋರ್ಟ್ ಸಂಘರ್ಷಗಳು:** ```cmd # Check what's using port 8080 netstat -ano | findstr :8080 # Use different port if needed chainlit run samples\04\app.py -w --port 3000 ``` 3. **ಪೈಥಾನ್ ಪರಿಸರ ಸಮಸ್ಯೆಗಳು:** ```cmd # Verify correct interpreter in VS Code # Ctrl+Shift+P → Python: Select Interpreter # Choose: Module08/.venv/Scripts/python.exe # Reinstall dependencies pip install -r requirements.txt ``` **ವೆಬ್‌ಜಿಪಿಯು ಡೆಮೊ:** 1. **ವೆಬ್‌ಜಿಪಿಯು ಬೆಂಬಲವಿಲ್ಲ:** - ಕ್ರೋಮ್/ಎಡ್ಜ್ 113+ ಗೆ ನವೀಕರಿಸಿ - ವೆಬ್‌ಜಿಪಿಯು ಸಕ್ರಿಯಗೊಳಿಸಿ: `chrome://flags/#enable-unsafe-webgpu` - GPU ಸ್ಥಿತಿಯನ್ನು ಪರಿಶೀಲಿಸಿ: `chrome://gpu` - ಡೆಮೊ ಸ್ವಯಂಚಾಲಿತವಾಗಿ CPU ಗೆ ಬದಲಾಯಿಸುತ್ತದೆ 2. **ಮಾದರಿ ಲೋಡಿಂಗ್ ದೋಷಗಳು:** - ಮಾದರಿ ಡೌನ್‌ಲೋಡ್‌ಗೆ ಇಂಟರ್ನೆಟ್ ಸಂಪರ್ಕ ಖಚಿತಪಡಿಸಿ - ಬ್ರೌಸರ್ ಕಾನ್ಸೋಲ್‌ನಲ್ಲಿ CORS ದೋಷಗಳನ್ನು ಪರಿಶೀಲಿಸಿ - ನೀವು HTTP ಮೂಲಕ ಸೇವೆ ನೀಡುತ್ತಿರುವುದನ್ನು ಖಚಿತಪಡಿಸಿ (file:// ಅಲ್ಲ) **ಓಪನ್ ವೆಬ್‌ಯುಐ:** 1. **ಕನೆಕ್ಷನ್ ನಿರಾಕರಿಸಲಾಗಿದೆ:** ```cmd # Check Docker is running docker --version # Check container status docker ps | findstr open-webui # View container logs docker logs open-webui ``` 2. **ಮಾದರಿಗಳು ಕಾಣಿಸುವುದಿಲ್ಲ:** ```cmd # Verify Foundry Local endpoint curl http://localhost:51211/v1/models # Restart Open WebUI docker restart open-webui ``` ### ಮಾನ್ಯತೆ ಪರಿಶೀಲನಾ ಪಟ್ಟಿಕೆ ```cmd # ✅ 1. Foundry Local Setup foundry --version # Should show version foundry service status # Should show "running" foundry model list # Should show loaded models curl http://localhost:51211/v1/models # Should return JSON # ✅ 2. Python Environment python --version # Should be 3.10+ pip list | findstr chainlit # Should show chainlit package pip list | findstr openai # Should show openai package # ✅ 3. Application Testing chainlit run samples\04\app.py -w --port 8080 # Should open browser # Test WebGPU demo at localhost:5173 # Test Open WebUI at localhost:3000 ``` ## ಉನ್ನತ ಬಳಕೆ ### ಕಾರ್ಯಕ್ಷಮತೆ ಸುಧಾರಣೆ **ಚೈನ್‌ಲಿಟ್:** - ಉತ್ತಮ ಅನುಭವಕ್ಕಾಗಿ ಸ್ಟ್ರೀಮಿಂಗ್ ಬಳಸಿ - ಹೆಚ್ಚಿನ ಸಮಕಾಲೀನತೆಗೆ ಸಂಪರ್ಕ ಪೂಲಿಂಗ್ ಅನುಷ್ಠಾನಗೊಳಿಸಿ - ಪುನರಾವರ್ತಿತ ಪ್ರಶ್ನೆಗಳಿಗೆ ಮಾದರಿ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಕ್ಯಾಶ್ ಮಾಡಿ - ದೊಡ್ಡ ಸಂಭಾಷಣೆ ಇತಿಹಾಸಗಳೊಂದಿಗೆ ಮೆಮೊರಿ ಬಳಕೆಯನ್ನು ಗಮನಿಸಿ **ವೆಬ್‌ಜಿಪಿಯು:** - ಗರಿಷ್ಠ ಗೌಪ್ಯತೆ ಮತ್ತು ವೇಗಕ್ಕಾಗಿ ವೆಬ್‌ಜಿಪಿಯು ಬಳಸಿ - ಸಣ್ಣ ಮಾದರಿಗಳಿಗಾಗಿ ಮಾದರಿ ಪ್ರಮಾಣೀಕರಣ ಅನುಷ್ಠಾನಗೊಳಿಸಿ - ಹಿನ್ನೆಲೆ ಪ್ರಕ್ರಿಯೆಗಾಗಿ ವೆಬ್ ವರ್ಕರ್‌ಗಳನ್ನು ಬಳಸಿ - ಬ್ರೌಸರ್ ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಸಂಯೋಜಿತ ಮಾದರಿಗಳನ್ನು ಕ್ಯಾಶ್ ಮಾಡಿ **ಓಪನ್ ವೆಬ್‌ಯುಐ:** - ಸಂಭಾಷಣೆ ಇತಿಹಾಸಕ್ಕಾಗಿ ಸ್ಥಿರ ವಾಲ್ಯೂಮ್‌ಗಳನ್ನು ಬಳಸಿ - ಡಾಕರ್ ಕಂಟೈನರ್‌ಗೆ ಸಂಪನ್ಮೂಲ ಮಿತಿಗಳನ್ನು ಸಂರಚಿಸಿ - ಬಳಕೆದಾರ ಡೇಟಾ ಬ್ಯಾಕ್ಅಪ್ ತಂತ್ರಗಳನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸಿ - SSL ಟರ್ಮಿನೇಶನ್‌ಗೆ ರಿವರ್ಸ್ ಪ್ರಾಕ್ಸಿ ಸೆಟ್‌ಅಪ್ ಮಾಡಿ ### ಇಂಟಿಗ್ರೇಶನ್ ಮಾದರಿಗಳು **ಸಂಯುಕ್ತ ಲೋಕಲ್/ಕ್ಲೌಡ್:** ```python # ಸಂಕೀರ್ಣತೆ ಮತ್ತು ಗೌಪ್ಯತೆ ಅಗತ್ಯಗಳ ಆಧಾರದ ಮೇಲೆ ಮಾರ್ಗ async def intelligent_routing(prompt: str, metadata: dict): if metadata.get("contains_pii"): return await foundry_local_completion(prompt) # ಗೌಪ್ಯತೆ-ಸಂವೇದನಶೀಲ elif len(prompt.split()) > 200: return await azure_openai_completion(prompt) # ಸಂಕೀರ್ಣ ತರ್ಕ else: return await foundry_local_completion(prompt) # ಡೀಫಾಲ್ಟ್ ಸ್ಥಳೀಯ ``` **ಬಹು-ಮಾದರಿ ಪೈಪ್‌ಲೈನ್:** ```python # ವಿಭಿನ್ನ AI ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಸಂಯೋಜಿಸಿ async def analyze_document(file_path: str): # 1. ವೆಬ್‌ಜಿಪಿಯು (ಬ್ರೌಸರ್ ಆಧಾರಿತ) ಜೊತೆಗೆ OCR text = await webgpu_ocr(file_path) # 2. ಫೌಂಡ್ರಿ ಲೋಕಲ್ (ಖಾಸಗಿ) ಜೊತೆಗೆ ವಿಶ್ಲೇಷಣೆ summary = await foundry_local_analyze(text) # 3. ಕ್ಲೌಡ್ ಮೂಲಕ ಸುಧಾರಣೆ (ಅಗತ್ಯವಿದ್ದರೆ) if summary.confidence < 0.8: summary = await azure_openai_enhance(summary) return summary ``` ## ಉತ್ಪಾದನಾ ನಿಯೋಜನೆ ### ಭದ್ರತಾ ಪರಿಗಣನೆಗಳು - **API ಕೀಗಳು**: ಪರಿಸರ ಚರಗಳನ್ನು ಬಳಸಿ, ಎಂದಿಗೂ ಹಾರ್ಡ್‌ಕೋಡ್ ಮಾಡಬೇಡಿ - **ನೆಟ್‌ವರ್ಕ್**: ಉತ್ಪಾದನೆಯಲ್ಲಿ HTTPS ಬಳಸಿ, ತಂಡ ಪ್ರವೇಶಕ್ಕೆ VPN ಪರಿಗಣಿಸಿ - **ಪ್ರವೇಶ ನಿಯಂತ್ರಣ**: ಓಪನ್ ವೆಬ್‌ಯುಐಗೆ ಪ್ರಮಾಣೀಕರಣ ಅನುಷ್ಠಾನಗೊಳಿಸಿ - **ಡೇಟಾ ಗೌಪ್ಯತೆ**: ಯಾವ ಡೇಟಾ ಲೋಕಲ್‌ನಲ್ಲಿ ಉಳಿಯುತ್ತದೆ ಮತ್ತು ಯಾವುದು ಕ್ಲೌಡ್‌ಗೆ ಹೋಗುತ್ತದೆ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಿ - **ನವೀಕರಣಗಳು**: ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಮತ್ತು ಕಂಟೈನರ್‌ಗಳನ್ನು ನವೀಕರಿಸಿ ### ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ನಿರ್ವಹಣೆ - **ಆರೋಗ್ಯ ಪರಿಶೀಲನೆಗಳು**: ಎಂಡ್‌ಪಾಯಿಂಟ್ ಮೇಲ್ವಿಚಾರಣೆ ಅನುಷ್ಠಾನಗೊಳಿಸಿ - **ಲಾಗಿಂಗ್**: ಎಲ್ಲಾ ಘಟಕಗಳಿಂದ ಲಾಗ್‌ಗಳನ್ನು ಕೇಂದ್ರೀಕರಿಸಿ - **ಮೆಟ್ರಿಕ್ಸ್**: ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯ, ದೋಷ ದರ, ಸಂಪನ್ಮೂಲ ಬಳಕೆಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ - **ಬ್ಯಾಕ್ಅಪ್**: ಸಂಭಾಷಣೆ ಡೇಟಾ ಮತ್ತು ಸಂರಚನೆಗಳ ನಿಯಮಿತ ಬ್ಯಾಕ್ಅಪ್ ## ಉಲ್ಲೇಖಗಳು ಮತ್ತು ಸಂಪನ್ಮೂಲಗಳು ### ಡಾಕ್ಯುಮೆಂಟೇಶನ್ - [ಚೈನ್‌ಲಿಟ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್](https://docs.chainlit.io/) - ಸಂಪೂರ್ಣ ಫ್ರೇಮ್ವರ್ಕ್ ಮಾರ್ಗದರ್ಶಿ - [ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಡಾಕ್ಯುಮೆಂಟೇಶನ್](https://learn.microsoft.com/azure/ai-foundry/foundry-local/) - ಅಧಿಕೃತ ಮೈಕ್ರೋಸಾಫ್ಟ್ ಡಾಕ್ಸ್ - [ONNX ರನ್‌ಟೈಮ್ ವೆಬ್](https://onnxruntime.ai/docs/get-started/with-javascript/web.html) - ವೆಬ್‌ಜಿಪಿಯು ಇಂಟಿಗ್ರೇಶನ್ - [ಓಪನ್ ವೆಬ್‌ಯುಐ ಡಾಕ್ಯುಮೆಂಟೇಶನ್](https://docs.openwebui.com/) - ಉನ್ನತ ಸಂರಚನೆ ### ಮಾದರಿ ಫೈಲ್‌ಗಳು - [`app.py`](../../../../../Module08/samples/04/app.py) - ಉತ್ಪಾದನಾ ಚೈನ್‌ಲಿಟ್ ಅಪ್ಲಿಕೇಶನ್ - [`chainlit_app.ipynb`](./chainlit_app.ipynb) - ಶೈಕ್ಷಣಿಕ ನೋಟ್ಬುಕ್ - [`webgpu-demo/`](../../../../../Module08/samples/04/webgpu-demo) - ಬ್ರೌಸರ್ ಆಧಾರಿತ AI ನಿರ್ಣಯ - [`open-webui-guide.md`](./open-webui-guide.md) - ಸಂಪೂರ್ಣ ಓಪನ್ ವೆಬ್‌ಯುಐ ಸೆಟ್‌ಅಪ್ ### ಸಂಬಂಧಿತ ಮಾದರಿಗಳು - [ಸೆಷನ್ 4 ಡಾಕ್ಯುಮೆಂಟೇಶನ್](../../04.CuttingEdgeModels.md) - ಸಂಪೂರ್ಣ ಸೆಷನ್ ಮಾರ್ಗದರ್ಶಿ - [ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಮಾದರಿಗಳು](https://github.com/microsoft/foundry-local/tree/main/samples) - ಅಧಿಕೃತ ಮಾದರಿಗಳು --- **ಅಸ್ವೀಕರಣ**: ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ [Co-op Translator](https://github.com/Azure/co-op-translator) ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯಿಗಾಗಿ ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ತಪ್ಪುಗಳು ಇರಬಹುದು ಎಂದು ದಯವಿಟ್ಟು ಗಮನಿಸಿ. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ಅಧಿಕೃತ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಮಹತ್ವದ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದ ಬಳಕೆಯಿಂದ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆ ಅಥವಾ ತಪ್ಪು ವಿವರಣೆಗಳಿಗೆ ನಾವು ಹೊಣೆಗಾರರಾಗುವುದಿಲ್ಲ.