# ಆರಂಭಿಕರಿಗಾಗಿ ಎಡ್ಜ್‌ಎಐ - ಕಾರ್ಯಾಗಾರ > **ಉತ್ಪಾದನಾ-ಸಿದ್ಧ ಎಡ್ಜ್ ಎಐ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಕೈಯಿಂದ ಕಲಿಕೆಯ ಮಾರ್ಗ** > > Microsoft Foundry Local ಬಳಸಿ ಸ್ಥಳೀಯ ಎಐ ನಿಯೋಜನೆಯನ್ನು ಮಾಸ್ಟರ್ ಮಾಡಿ, ಮೊದಲ ಚಾಟ್ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಯಿಂದ ಬಹು-ಏಜೆಂಟ್ ಸಂಯೋಜನೆಗೆ 6 ಪ್ರಗತಿಶೀಲ ಅಧಿವೇಶನಗಳಲ್ಲಿ. --- ## 🎯 ಪರಿಚಯ **ಎಡ್ಜ್‌ಎಐ ಆರಂಭಿಕರಿಗಾಗಿ ಕಾರ್ಯಾಗಾರಕ್ಕೆ** ಸ್ವಾಗತ - ನಿಮ್ಮ ಪ್ರಾಯೋಗಿಕ, ಕೈಯಿಂದ ಕಲಿಕೆಯ ಮಾರ್ಗದರ್ಶಿ, ಸಂಪೂರ್ಣವಾಗಿ ಸ್ಥಳೀಯ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಬುದ್ಧಿವಂತ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು. ಈ ಕಾರ್ಯಾಗಾರವು ಸಿದ್ಧಾಂತಾತ್ಮಕ ಎಡ್ಜ್ ಎಐ ಕಲ್ಪನೆಗಳನ್ನು Microsoft Foundry Local ಮತ್ತು ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (SLMs) ಬಳಸಿ ಪ್ರಗತಿಶೀಲ ಅಭ್ಯಾಸಗಳ ಮೂಲಕ ನೈಜ ಜ್ಞಾನದಲ್ಲಿ ಪರಿವರ್ತಿಸುತ್ತದೆ. ### ಈ ಕಾರ್ಯಾಗಾರ ಏಕೆ? **ಎಡ್ಜ್ ಎಐ ಕ್ರಾಂತಿ ಇಲ್ಲಿ ಇದೆ** ವಿಶ್ವದ ಸಂಸ್ಥೆಗಳು ಕ್ಲೌಡ್-ಆಧಾರಿತ ಎಐಯಿಂದ ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್‌ಗೆ ಮೂರು ಪ್ರಮುಖ ಕಾರಣಗಳಿಗಾಗಿ ಬದಲಾಗುತ್ತಿವೆ: 1. **ಗೌಪ್ಯತೆ ಮತ್ತು ಅನುಕೂಲತೆ** - ಕ್ಲೌಡ್ ಪ್ರಸರಣವಿಲ್ಲದೆ ಸಂವೇದನಾಶೀಲ ಡೇಟಾವನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಪ್ರಕ್ರಿಯೆ ಮಾಡುವುದು (HIPAA, GDPR, ಹಣಕಾಸು ನಿಯಮಗಳು) 2. **ಕಾರ್ಯಕ್ಷಮತೆ** - ನೆಟ್‌ವರ್ಕ್ ವಿಳಂಬವನ್ನು ತೆಗೆದುಹಾಕುವುದು (50-500ms ಸ್ಥಳೀಯ vs 500-2000ms ಕ್ಲೌಡ್ ಸುತ್ತು ಪ್ರಯಾಣ) 3. **ಖರ್ಚು ನಿಯಂತ್ರಣ** - ಪ್ರತಿ ಟೋಕನ್ API ವೆಚ್ಚಗಳನ್ನು ತೆಗೆದುಹಾಕಿ ಕ್ಲೌಡ್ ವೆಚ್ಚಗಳಿಲ್ಲದೆ ವಿಸ್ತರಣೆ **ಆದರೆ ಎಡ್ಜ್ ಎಐ ವಿಭಿನ್ನವಾಗಿದೆ** ಸ್ಥಳೀಯವಾಗಿ ಎಐ ಚಾಲನೆ ಮಾಡಲು ಹೊಸ ಕೌಶಲ್ಯಗಳು ಬೇಕಾಗುತ್ತವೆ: - ಸಂಪನ್ಮೂಲ ಮಿತಿಗಳಿಗೆ ಮಾದರಿ ಆಯ್ಕೆ ಮತ್ತು ಆಪ್ಟಿಮೈಜೆಷನ್ - ಸ್ಥಳೀಯ ಸೇವೆ ನಿರ್ವಹಣೆ ಮತ್ತು ಹಾರ್ಡ್‌ವೇರ್ ವೇಗವರ್ಧನೆ - ಸಣ್ಣ ಮಾದರಿಗಳಿಗಾಗಿ ಪ್ರಾಂಪ್ಟ್ ಎಂಜಿನಿಯರಿಂಗ್ - ಎಡ್ಜ್ ಸಾಧನಗಳಿಗಾಗಿ ಉತ್ಪಾದನಾ ನಿಯೋಜನೆ ಮಾದರಿಗಳು **ಈ ಕಾರ್ಯಾಗಾರ ಆ ಕೌಶಲ್ಯಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ** 6 ಕೇಂದ್ರೀಕೃತ ಅಧಿವೇಶನಗಳಲ್ಲಿ (~3 ಗಂಟೆಗಳ ಒಟ್ಟು), ನೀವು "ಹೆಲೋ ವರ್ಲ್ಡ್" ನಿಂದ ಪ್ರಾರಂಭಿಸಿ ಉತ್ಪಾದನಾ-ಸಿದ್ಧ ಬಹು-ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ನಿಮ್ಮ ಯಂತ್ರದಲ್ಲಿ ನಿಯೋಜಿಸುವವರೆಗೆ ಪ್ರಗತಿಪಡುತ್ತೀರಿ. --- ## 📚 ಕಲಿಕೆಯ ಗುರಿಗಳು ಈ ಕಾರ್ಯಾಗಾರವನ್ನು ಪೂರ್ಣಗೊಳಿಸುವ ಮೂಲಕ, ನೀವು ಸಾಧ್ಯವಾಗುತ್ತದೆ: ### ಮೂಲ ಕೌಶಲ್ಯಗಳು 1. **ಸ್ಥಳೀಯ ಎಐ ಸೇವೆಗಳನ್ನು ನಿಯೋಜಿಸಿ ಮತ್ತು ನಿರ್ವಹಿಸಿ** - Microsoft Foundry Local ಅನ್ನು ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಸಂರಚಿಸಿ - ಎಡ್ಜ್ ನಿಯೋಜನೆಗೆ ಸೂಕ್ತ ಮಾದರಿಗಳನ್ನು ಆಯ್ಕೆಮಾಡಿ - ಮಾದರಿ ಜೀವನಚಕ್ರವನ್ನು ನಿರ್ವಹಿಸಿ (ಡೌನ್‌ಲೋಡ್, ಲೋಡ್, ಕ್ಯಾಶೆ) - ಸಂಪನ್ಮೂಲ ಬಳಕೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿ 2. **ಎಐ-ಚಾಲಿತ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಿ** - OpenAI-ಸಮ್ಮತ ಚಾಟ್ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಯನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಅನುಷ್ಠಾನಗೊಳಿಸಿ - ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿಗಳಿಗಾಗಿ ಪರಿಣಾಮಕಾರಿ ಪ್ರಾಂಪ್ಟ್ ವಿನ್ಯಾಸ ಮಾಡಿ - ಉತ್ತಮ ಬಳಕೆದಾರ ಅನುಭವಕ್ಕಾಗಿ ಸ್ಟ್ರೀಮಿಂಗ್ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ನಿರ್ವಹಿಸಿ - ಸ್ಥಳೀಯ ಮಾದರಿಗಳನ್ನು ಇತ್ತೀಚಿನ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ ಸಂಯೋಜಿಸಿ 3. **RAG (ರಿಟ್ರಿವಲ್ ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಶನ್) ವ್ಯವಸ್ಥೆಗಳನ್ನು ರಚಿಸಿ** - ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳೊಂದಿಗೆ ಸಾಂದರ್ಭಿಕ ಹುಡುಕಾಟ ನಿರ್ಮಿಸಿ - LLM ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಕ್ಷೇತ್ರ-ನಿರ್ದಿಷ್ಟ ಜ್ಞಾನದಲ್ಲಿ ನೆಲೆಗೊಳಿಸಿ - ಕೈಗಾರಿಕಾ ಮಾನದಂಡಗಳೊಂದಿಗೆ RAG ಗುಣಮಟ್ಟವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ - ಪ್ರೋಟೋಟೈಪ್‌ನಿಂದ ಉತ್ಪಾದನೆಗೆ ವಿಸ್ತರಿಸಿ 4. **ಮಾದರಿ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿ** - ನಿಮ್ಮ ಬಳಕೆಗೆ ಅನೇಕ ಮಾದರಿಗಳನ್ನು ಬೆಂಚ್‌ಮಾರ್ಕ್ ಮಾಡಿ - ವಿಳಂಬ, ಥ್ರೂಪುಟ್ ಮತ್ತು ಮೊದಲ ಟೋಕನ್ ಸಮಯವನ್ನು ಅಳೆಯಿರಿ - ವೇಗ/ಗುಣಮಟ್ಟ ವ್ಯವಹಾರಗಳ ಆಧಾರದ ಮೇಲೆ ಅತ್ಯುತ್ತಮ ಮಾದರಿಗಳನ್ನು ಆಯ್ಕೆಮಾಡಿ - ನೈಜ ಸಂದರ್ಭಗಳಲ್ಲಿ SLM ಮತ್ತು LLM ವ್ಯವಹಾರಗಳನ್ನು ಹೋಲಿಸಿ 5. **ಬಹು-ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಸಂಯೋಜಿಸಿ** - ವಿಭಿನ್ನ ಕಾರ್ಯಗಳಿಗೆ ವಿಶೇಷ ಏಜೆಂಟ್‌ಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿ - ಏಜೆಂಟ್ ಮೆಮೊರಿ ಮತ್ತು ಸಾಂದರ್ಭಿಕ ನಿರ್ವಹಣೆಯನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸಿ - ಸಂಕೀರ್ಣ ಕಾರ್ಯಪ್ರವಾಹಗಳಲ್ಲಿ ಏಜೆಂಟ್‌ಗಳನ್ನು ಸಂಯೋಜಿಸಿ - ಅನೇಕ ಮಾದರಿಗಳಲ್ಲಿ ಬುದ್ಧಿವಂತಿಕೆಯಿಂದ ವಿನಂತಿಗಳನ್ನು ಮಾರ್ಗದರ್ಶಿಸಿ 6. **ಉತ್ಪಾದನಾ-ಸಿದ್ಧ ಪರಿಹಾರಗಳನ್ನು ನಿಯೋಜಿಸಿ** - ದೋಷ ನಿರ್ವಹಣೆ ಮತ್ತು ಮರುಪ್ರಯತ್ನ ತಂತ್ರಗಳನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸಿ - ಟೋಕನ್ ಬಳಕೆ ಮತ್ತು ವ್ಯವಸ್ಥೆ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ - ಮಾದರಿ-ಆಸ್-ಟೂಲ್ಸ್ ಮಾದರಿಗಳೊಂದಿಗೆ ವಿಸ್ತರಿಸಬಹುದಾದ ವಾಸ್ತುಶಿಲ್ಪಗಳನ್ನು ನಿರ್ಮಿಸಿ - ಎಡ್ಜ್‌ನಿಂದ ಹೈಬ್ರಿಡ್ (ಎಡ್ಜ್ + ಕ್ಲೌಡ್) ಗೆ ಸ್ಥಳಾಂತರ ಮಾರ್ಗಗಳನ್ನು ಯೋಜಿಸಿ --- ## 🎓 ಕಲಿಕೆಯ ಫಲಿತಾಂಶಗಳು ### ನೀವು ಏನು ನಿರ್ಮಿಸುವಿರಿ ಈ ಕಾರ್ಯಾಗಾರದ ಅಂತ್ಯಕ್ಕೆ, ನೀವು ರಚಿಸಿರುವಿರುತ್ತೀರಿ: | ಅಧಿವೇಶನ | ವಿತರಿಸುವಿಕೆ | ಪ್ರದರ್ಶಿಸಿದ ಕೌಶಲ್ಯಗಳು | |---------|-------------|-------------------------| | **1** | ಸ್ಟ್ರೀಮಿಂಗ್ ಹೊಂದಿರುವ ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ | ಸೇವೆ ಸ್ಥಾಪನೆ, ಮೂಲ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ, ಸ್ಟ್ರೀಮಿಂಗ್ UX | | **2** | ಮೌಲ್ಯಮಾಪನದೊಂದಿಗೆ RAG ವ್ಯವಸ್ಥೆ | ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳು, ಸಾಂದರ್ಭಿಕ ಹುಡುಕಾಟ, ಗುಣಮಟ್ಟ ಮಾನದಂಡಗಳು | | **3** | ಬಹು-ಮಾದರಿ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಸೂಟ್ | ಕಾರ್ಯಕ್ಷಮತೆ ಅಳೆಯುವಿಕೆ, ಮಾದರಿ ಹೋಲಿಕೆ | | **4** | SLM ಮತ್ತು LLM ಹೋಲಿಕೆ | ವ್ಯವಹಾರ ವಿಶ್ಲೇಷಣೆ, ಆಪ್ಟಿಮೈಜೆಷನ್ ತಂತ್ರಗಳು | | **5** | ಬಹು-ಏಜೆಂಟ್ ಸಂಯೋಜಕ | ಏಜೆಂಟ್ ವಿನ್ಯಾಸ, ಮೆಮೊರಿ ನಿರ್ವಹಣೆ, ಸಂಯೋಜನೆ | | **6** | ಬುದ್ಧಿವಂತ ಮಾರ್ಗದರ್ಶನ ವ್ಯವಸ್ಥೆ | ಉದ್ದೇಶ ಪತ್ತೆ, ಮಾದರಿ ಆಯ್ಕೆ, ವಿಸ್ತರಣೆ | ### ಕೌಶಲ್ಯ ಮ್ಯಾಟ್ರಿಕ್ಸ್ | ಕೌಶಲ್ಯ ಮಟ್ಟ | ಅಧಿವೇಶನ 1-2 | ಅಧಿವೇಶನ 3-4 | ಅಧಿವೇಶನ 5-6 | |-------------|--------------|--------------|--------------| | **ಆರಂಭಿಕ** | ✅ ಸ್ಥಾಪನೆ ಮತ್ತು ಮೂಲಗಳು | ⚠️ ಸವಾಲುಗಳು | ❌ ತುಂಬಾ ಮುಂದುವರಿದಿದೆ | | **ಮಧ್ಯಮ** | ✅ ತ್ವರಿತ ಪರಿಶೀಲನೆ | ✅ ಮೂಲ ಕಲಿಕೆ | ⚠️ ವಿಸ್ತಾರ ಗುರಿಗಳು | | **ಅತ್ಯುತ್ತಮ** | ✅ ಸುಲಭವಾಗಿ ಮುಗಿಸಿ | ✅ ಸುಧಾರಣೆ | ✅ ಉತ್ಪಾದನಾ ಮಾದರಿಗಳು | ### ವೃತ್ತಿ-ಸಿದ್ಧ ಕೌಶಲ್ಯಗಳು **ಈ ಕಾರ್ಯಾಗಾರದ ನಂತರ, ನೀವು ಸಿದ್ಧರಾಗಿರುತ್ತೀರಿ:** ✅ **ಗೌಪ್ಯತೆ-ಪ್ರಥಮ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು** - ಸ್ಥಳೀಯವಾಗಿ PHI/PII ನ್ನು ನಿರ್ವಹಿಸುವ ಆರೋಗ್ಯ ಸೇವಾ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು - ಅನುಕೂಲತೆ ಅಗತ್ಯವಿರುವ ಹಣಕಾಸು ಸೇವೆಗಳು - ಡೇಟಾ ಸ್ವಾಯತ್ತತೆಯ ಅಗತ್ಯವಿರುವ ಸರ್ಕಾರಿ ವ್ಯವಸ್ಥೆಗಳು ✅ **ಎಡ್ಜ್ ಪರಿಸರಗಳಿಗೆ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲು** - ಮಿತಿಯಾದ ಸಂಪನ್ಮೂಲಗಳೊಂದಿಗೆ IoT ಸಾಧನಗಳು - ಆಫ್‌ಲೈನ್-ಪ್ರಥಮ ಮೊಬೈಲ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು - ಕಡಿಮೆ ವಿಳಂಬದ ನೈಜ-ಸಮಯ ವ್ಯವಸ್ಥೆಗಳು ✅ **ಬುದ್ಧಿವಂತ ವಾಸ್ತುಶಿಲ್ಪಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲು** - ಸಂಕೀರ್ಣ ಕಾರ್ಯಪ್ರವಾಹಗಳಿಗಾಗಿ ಬಹು-ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆಗಳು - ಹೈಬ್ರಿಡ್ ಎಡ್ಜ್-ಕ್ಲೌಡ್ ನಿಯೋಜನೆಗಳು - ವೆಚ್ಚ-ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ ಎಐ ಮೂಲಸೌಕರ್ಯ ✅ **ಎಡ್ಜ್ ಎಐ ಉಪಕ್ರಮಗಳನ್ನು ಮುನ್ನಡೆಸಲು** - ಯೋಜನೆಗಳಿಗೆ ಎಡ್ಜ್ ಎಐ ಸಾಧ್ಯತೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು - ಸೂಕ್ತ ಮಾದರಿಗಳು ಮತ್ತು ಫ್ರೇಮ್ವರ್ಕ್‌ಗಳನ್ನು ಆಯ್ಕೆಮಾಡುವುದು - ವಿಸ್ತರಿಸಬಹುದಾದ ಸ್ಥಳೀಯ ಎಐ ಪರಿಹಾರಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸುವುದು --- ## 🗺️ ಕಾರ್ಯಾಗಾರ ರಚನೆ ### ಅಧಿವೇಶನ ಅವಲೋಕನ (6 ಅಧಿವೇಶನಗಳು × 30 ನಿಮಿಷಗಳು = 3 ಗಂಟೆಗಳು) | ಅಧಿವೇಶನ | ವಿಷಯ | ಕೇಂದ್ರೀಕರಣ | ಅವಧಿ | |---------|-------|-------------|--------| | **1** | Foundry Local ನೊಂದಿಗೆ ಪ್ರಾರಂಭ | ಸ್ಥಾಪನೆ, ಪರಿಶೀಲನೆ, ಮೊದಲ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಗಳು | 30 ನಿಮಿಷಗಳು | | **2** | RAG ಬಳಸಿ ಎಐ ಪರಿಹಾರಗಳನ್ನು ನಿರ್ಮಿಸುವುದು | ಪ್ರಾಂಪ್ಟ್ ಎಂಜಿನಿಯರಿಂಗ್, ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳು, ಮೌಲ್ಯಮಾಪನ | 30 ನಿಮಿಷಗಳು | | **3** | ಓಪನ್ ಸೋರ್ಸ್ ಮಾದರಿಗಳು | ಮಾದರಿ ಅನ್ವೇಷಣೆ, ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್, ಆಯ್ಕೆ | 30 ನಿಮಿಷಗಳು | | **4** | ಅತ್ಯಾಧುನಿಕ ಮಾದರಿಗಳು | SLM ಮತ್ತು LLM, ಆಪ್ಟಿಮೈಜೆಷನ್, ಫ್ರೇಮ್ವರ್ಕ್‌ಗಳು | 30 ನಿಮಿಷಗಳು | | **5** | ಎಐ-ಚಾಲಿತ ಏಜೆಂಟ್‌ಗಳು | ಏಜೆಂಟ್ ವಿನ್ಯಾಸ, ಸಂಯೋಜನೆ, ಮೆಮೊರಿ | 30 ನಿಮಿಷಗಳು | | **6** | ಟೂಲ್ಸ್ ಆಗಿ ಮಾದರಿಗಳು | ಮಾರ್ಗದರ್ಶನ, ಚೈನಿಂಗ್, ವಿಸ್ತರಣೆ ತಂತ್ರಗಳು | 30 ನಿಮಿಷಗಳು | --- ## 🚀 ತ್ವರಿತ ಪ್ರಾರಂಭ ### ಪೂರ್ವಾಪೇಕ್ಷಿತಗಳು **ಸಿಸ್ಟಮ್ ಅಗತ್ಯಗಳು:** - **OS**: Windows 10/11, macOS 11+, ಅಥವಾ Linux (Ubuntu 20.04+) - **RAM**: ಕನಿಷ್ಠ 8GB, ಶಿಫಾರಸು 16GB+ - **ಸಂಗ್ರಹಣೆ**: ಮಾದರಿಗಳಿಗೆ 10GB+ ಖಾಲಿ ಜಾಗ - **CPU**: AVX2 ಬೆಂಬಲದ ಆಧುನಿಕ ಪ್ರೊಸೆಸರ್ - **GPU** (ಐಚ್ಛಿಕ): ವೇಗವರ್ಧನೆಗಾಗಿ CUDA-ಸಮ್ಮತ ಅಥವಾ Qualcomm NPU **ಸಾಫ್ಟ್‌ವೇರ್ ಅಗತ್ಯಗಳು:** - **Python 3.8+** ([ಡೌನ್‌ಲೋಡ್](https://www.python.org/downloads/)) - **Microsoft Foundry Local** ([ಸ್ಥಾಪನೆ ಮಾರ್ಗದರ್ಶಿ](../../../Workshop)) - **Git** ([ಡೌನ್‌ಲೋಡ್](https://git-scm.com/downloads)) - **Visual Studio Code** (ಶಿಫಾರಸು) ([ಡೌನ್‌ಲೋಡ್](https://code.visualstudio.com/)) ### 3 ಹಂತಗಳಲ್ಲಿ ಸ್ಥಾಪನೆ #### 1. Foundry Local ಅನ್ನು ಸ್ಥಾಪಿಸಿ **Windows:** ```powershell winget install Microsoft.FoundryLocal ``` **macOS:** ```bash brew tap microsoft/foundrylocal brew install foundrylocal ``` **ಸ್ಥಾಪನೆಯನ್ನು ಪರಿಶೀಲಿಸಿ:** ```bash foundry --version foundry service status ``` **Azure AI Foundry Local ನ್ನು ನಿಶ್ಚಿತ ಪೋರ್ಟ್‌ನೊಂದಿಗೆ ಚಾಲನೆ ಮಾಡಲಾಗುತ್ತಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ** ```bash # FoundryLocal ಅನ್ನು ಪೋರ್ಟ್ 58123 (ಡೀಫಾಲ್ಟ್) ಬಳಸಲು ಸೆಟ್ ಮಾಡಿ foundry service set --port 58123 --show # ಅಥವಾ ಬೇರೆ ಪೋರ್ಟ್ ಅನ್ನು ಬಳಸಿ foundry service set --port 58000 --show ``` **ಇದು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ ಎಂದು ಪರಿಶೀಲಿಸಿ:** ```bash # ಸೇವೆಯ ಸ್ಥಿತಿಯನ್ನು ಪರಿಶೀಲಿಸಿ foundry service status # ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಿ curl http://127.0.0.1:58123/v1/models ``` **ಲಭ್ಯವಿರುವ ಮಾದರಿಗಳನ್ನು ಹುಡುಕುವುದು** ನಿಮ್ಮ Foundry Local ಉದಾಹರಣೆಯಲ್ಲಿ ಲಭ್ಯವಿರುವ ಮಾದರಿಗಳನ್ನು ನೋಡಲು, ನೀವು ಮಾದರಿ ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ಪ್ರಶ್ನಿಸಬಹುದು: ```bash # cmd/bash/powershell foundry model list ``` ವೆಬ್ ಎಂಡ್ಪಾಯಿಂಟ್ ಬಳಸಿ ```bash # ವಿಂಡೋಸ್ ಪವರ್‌ಶೆಲ್ powershell -Command "Invoke-RestMethod -Uri 'http://127.0.0.1:58123/v1/models' -Method Get" # ಅಥವಾ ಕರ್ಳ್ ಬಳಸಿ (ಲಭ್ಯವಿದ್ದರೆ) curl http://127.0.0.1:58123/v1/models ``` #### 2. ರೆಪೊಸಿಟರಿಯನ್ನು ಕ್ಲೋನ್ ಮಾಡಿ ಮತ್ತು ಅವಲಂಬನೆಗಳನ್ನು ಸ್ಥಾಪಿಸಿ ```bash # ರೆಪೊಸಿಟರಿಯನ್ನು ಕ್ಲೋನ್ ಮಾಡಿ git clone https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners/Workshop # ವರ್ಚುವಲ್ ಪರಿಸರವನ್ನು ರಚಿಸಿ python -m venv .venv # ವರ್ಚುವಲ್ ಪರಿಸರವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ # ವಿಂಡೋಸ್: .\.venv\Scripts\activate # ಮ್ಯಾಕ್‌ಒಎಸ್/ಲಿನಕ್ಸ್ನಲ್ಲಿ: source .venv/bin/activate # ಅವಲಂಬನೆಗಳನ್ನು ಸ್ಥಾಪಿಸಿ pip install -r requirements.txt ``` #### 3. ನಿಮ್ಮ ಮೊದಲ ಮಾದರಿಯನ್ನು ಚಾಲನೆ ಮಾಡಿ ```bash # ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಪ್ರಾರಂಭಿಸಿ ಮತ್ತು ಮಾದರಿಯನ್ನು ಲೋಡ್ ಮಾಡಿ foundry model run phi-4-mini # ಚಾಟ್ ಬೂಟ್‌ಸ್ಟ್ರಾಪ್ ಮಾದರಿಯನ್ನು ಚಾಲನೆ ಮಾಡಿ cd samples python -m session01.chat_bootstrap "What is edge AI?" ``` **✅ ಯಶಸ್ಸು!** ನೀವು ಎಡ್ಜ್ ಎಐ ಬಗ್ಗೆ ಸ್ಟ್ರೀಮಿಂಗ್ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ನೋಡಬೇಕು. --- ## 📦 ಕಾರ್ಯಾಗಾರ ಸಂಪನ್ಮೂಲಗಳು ### Python ಮಾದರಿಗಳು ಪ್ರತಿ ಕಲ್ಪನೆಯನ್ನು ತೋರಿಸುವ ಪ್ರಗತಿಶೀಲ ಕೈಯಿಂದ ಉದಾಹರಣೆಗಳು: | ಅಧಿವೇಶನ | ಮಾದರಿ | ವಿವರಣೆ | ಚಾಲನೆ ಸಮಯ | |---------|--------|----------|-------------| | 1 | [`chat_bootstrap.py`](../../../Workshop/samples/session01/chat_bootstrap.py) | ಮೂಲ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್ ಚಾಟ್ | ~30 ಸೆಕೆಂಡುಗಳು | | 2 | [`rag_pipeline.py`](../../../Workshop/samples/session02/rag_pipeline.py) | ಎಂಬೆಡ್ಡಿಂಗ್‌ಗಳೊಂದಿಗೆ RAG | ~45 ಸೆಕೆಂಡುಗಳು | | 2 | [`rag_eval_ragas.py`](../../../Workshop/samples/session02/rag_eval_ragas.py) | RAG ಗುಣಮಟ್ಟ ಮೌಲ್ಯಮಾಪನ | ~60 ಸೆಕೆಂಡುಗಳು | | 3 | [`benchmark_oss_models.py`](../../../Workshop/samples/session03/benchmark_oss_models.py) | ಬಹು-ಮಾದರಿ ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್ | ~2-3 ನಿಮಿಷಗಳು | | 4 | [`model_compare.py`](../../../Workshop/samples/session04/model_compare.py) | SLM ಮತ್ತು LLM ಹೋಲಿಕೆ | ~45 ಸೆಕೆಂಡುಗಳು | | 5 | [`agents_orchestrator.py`](../../../Workshop/samples/session05/agents_orchestrator.py) | ಬಹು-ಏಜೆಂಟ್ ವ್ಯವಸ್ಥೆ | ~60 ಸೆಕೆಂಡುಗಳು | | 6 | [`models_router.py`](../../../Workshop/samples/session06/models_router.py) | ಉದ್ದೇಶ ಆಧಾರಿತ ಮಾರ್ಗದರ್ಶನ | ~45 ಸೆಕೆಂಡುಗಳು | | 6 | [`models_pipeline.py`](../../../Workshop/samples/session06/models_pipeline.py) | ಬಹು-ಹಂತ ಪೈಪ್‌ಲೈನ್ | ~60 ಸೆಕೆಂಡುಗಳು | ### ಜುಪಿಟರ್ ನೋಟ್ಬುಕ್‌ಗಳು ವಿವರಣೆಗಳು ಮತ್ತು ದೃಶ್ಯೀಕರಣಗಳೊಂದಿಗೆ ಸಂವಹನಾತ್ಮಕ ಅನ್ವೇಷಣೆ: | ಅಧಿವೇಶನ | ನೋಟ್ಬುಕ್ | ವಿವರಣೆ | ಕಷ್ಟದ ಮಟ್ಟ | |---------|----------|----------|------------| | 1 | [`session01_chat_bootstrap.ipynb`](./notebooks/session01_chat_bootstrap.ipynb) | ಚಾಟ್ ಮೂಲಗಳು ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್ | ⭐ ಆರಂಭಿಕ | | 2 | [`session02_rag_pipeline.ipynb`](./notebooks/session02_rag_pipeline.ipynb) | RAG ವ್ಯವಸ್ಥೆ ನಿರ್ಮಿಸಿ | ⭐⭐ ಮಧ್ಯಮ | | 2 | [`session02_rag_eval_ragas.ipynb`](./notebooks/session02_rag_eval_ragas.ipynb) | RAG ಗುಣಮಟ್ಟ ಮೌಲ್ಯಮಾಪನ | ⭐⭐ ಮಧ್ಯಮ | | 3 | [`session03_benchmark_oss_models.ipynb`](./notebooks/session03_benchmark_oss_models.ipynb) | ಮಾದರಿ ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್ | ⭐⭐ ಮಧ್ಯಮ | | 4 | [`session04_model_compare.ipynb`](./notebooks/session04_model_compare.ipynb) | ಮಾದರಿ ಹೋಲಿಕೆ | ⭐⭐ ಮಧ್ಯಮ | | 5 | [`session05_agents_orchestrator.ipynb`](./notebooks/session05_agents_orchestrator.ipynb) | ಏಜೆಂಟ್ ಸಂಯೋಜನೆ | ⭐⭐⭐ ಉನ್ನತ | | 6 | [`session06_models_router.ipynb`](./notebooks/session06_models_router.ipynb) | ಉದ್ದೇಶ ಮಾರ್ಗದರ್ಶನ | ⭐⭐⭐ ಉನ್ನತ | | 6 | [`session06_models_pipeline.ipynb`](./notebooks/session06_models_pipeline.ipynb) | ಪೈಪ್‌ಲೈನ್ ಸಂಯೋಜನೆ | ⭐⭐⭐ ಉನ್ನತ | ### ಡಾಕ್ಯುಮೆಂಟೇಶನ್ ವಿಸ್ತೃತ ಮಾರ್ಗದರ್ಶಿಗಳು ಮತ್ತು ಉಲ್ಲೇಖಗಳು: | ಡಾಕ್ಯುಮೆಂಟ್ | ವಿವರಣೆ | ಬಳಸುವಾಗ | |--------------|----------|------------| | [QUICK_START.md](./QUICK_START.md) | ವೇಗದ ಸ್ಥಾಪನೆ ಮಾರ್ಗದರ್ಶಿ | ಆರಂಭದಿಂದ ಪ್ರಾರಂಭಿಸುವಾಗ | | [QUICK_REFERENCE.md](./QUICK_REFERENCE.md) | ಕಮಾಂಡ್ ಮತ್ತು API ಚೀಟ್ ಶೀಟ್ | ತ್ವರಿತ ಉತ್ತರ ಬೇಕಾದಾಗ | | [FOUNDRY_SDK_QUICKREF.md](./FOUNDRY_SDK_QUICKREF.md) | SDK ಮಾದರಿಗಳು ಮತ್ತು ಉದಾಹರಣೆಗಳು | ಕೋಡ್ ಬರೆಯುವಾಗ | | [ENV_CONFIGURATION.md](./ENV_CONFIGURATION.md) | ಪರಿಸರ ಚರ ಸಂರಚನೆ ಮಾರ್ಗದರ್ಶಿ | ಮಾದರಿಗಳನ್ನು ಸಂರಚಿಸುವಾಗ | | [notebooks/TROUBLESHOOTING.md](./notebooks/TROUBLESHOOTING.md) | ಸಾಮಾನ್ಯ ಸಮಸ್ಯೆಗಳು ಮತ್ತು ಪರಿಹಾರಗಳು | ದೋಷ ಪರಿಹಾರಕ್ಕೆ | --- ## 🎓 ಕಲಿಕೆಯ ಮಾರ್ಗ ಶಿಫಾರಸುಗಳು ### ಆರಂಭಿಕರಿಗೆ (3-4 ಗಂಟೆಗಳು) 1. ✅ ಅಧಿವೇಶನ 1: ಪ್ರಾರಂಭ (ಸ್ಥಾಪನೆ ಮತ್ತು ಮೂಲ ಚಾಟ್ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿ) 2. ✅ ಅಧಿವೇಶನ 2: RAG ಮೂಲಗಳು (ಪ್ರಾರಂಭದಲ್ಲಿ ಮೌಲ್ಯಮಾಪನವನ್ನು ಬಿಟ್ಟುಬಿಡಿ) 3. ✅ ಅಧಿವೇಶನ 3: ಸರಳ ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್ (ಮಾತ್ರ 2 ಮಾದರಿಗಳು) 4. ⏭️ ಈಗ ಅಧಿವೇಶನ 4-6 ಅನ್ನು ಬಿಟ್ಟುಬಿಡಿ 5. 🔄 ಮೊದಲ ಅಪ್ಲಿಕೇಶನ್ ನಿರ್ಮಿಸಿದ ನಂತರ ಅಧಿವೇಶನ 4-6 ಗೆ ಮರಳಿರಿ ### ಮಧ್ಯಮ ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರಿಗೆ (3 ಗಂಟೆಗಳು) 1. ⚡ ಅಧಿವೇಶನ 1: ತ್ವರಿತ ಸ್ಥಾಪನೆ ಪರಿಶೀಲನೆ 2. ✅ ಅಧಿವೇಶನ 2: ಮೌಲ್ಯಮಾಪನದೊಂದಿಗೆ ಪೂರ್ಣ RAG ಪೈಪ್‌ಲೈನ್ 3. ✅ ಅಧಿವೇಶನ 3: ಸಂಪೂರ್ಣ ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್ ಸೂಟ್ 4. ✅ ಅಧಿವೇಶನ 4: ಮಾದರಿ ಆಪ್ಟಿಮೈಜೆಷನ್ 5. ✅ ಅಧಿವೇಶನ 5-6: ವಾಸ್ತುಶಿಲ್ಪ ಮಾದರಿಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿ ### ಉನ್ನತ ಅಭ್ಯಾಸಗಾರರಿಗೆ (2-3 ಗಂಟೆಗಳು) 1. ⚡ ಅಧಿವೇಶನ 1-3: ತ್ವರಿತ ಪರಿಶೀಲನೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ 2. ✅ ಅಧಿವೇಶನ 4: ಆಪ್ಟಿಮೈಜೆಷನ್ ಆಳವಾದ ಅಧ್ಯಯನ 3. ✅ ಅಧಿವೇಶನ 5: ಬಹು-ಏಜೆಂಟ್ ವಾಸ್ತುಶಿಲ್ಪ 4. ✅ ಅಧಿವೇಶನ 6: ಉತ್ಪಾದನಾ ಮಾದರಿಗಳು ಮತ್ತು ವಿಸ್ತರಣೆ 5. 🚀 ವಿಸ್ತರಿಸಿ: ಕಸ್ಟಮ್ ಮಾರ್ಗದರ್ಶನ ತಂತ್ರ ಮತ್ತು ಹೈಬ್ರಿಡ್ ನಿಯೋಜನೆಗಳನ್ನು ನಿರ್ಮಿಸಿ --- ## ಕಾರ್ಯಾಗಾರ ಅಧಿವೇಶನ ಪ್ಯಾಕ್ (ಕೇಂದ್ರೀಕೃತ 30-ನಿಮಿಷ ಲ್ಯಾಬ್‌ಗಳು) ನೀವು ಸಂಕ್ಷಿಪ್ತ 6-ಅಧಿವೇಶನ ಕಾರ್ಯಾಗಾರ ಮಾದರಿಯನ್ನು ಅನುಸರಿಸುತ್ತಿದ್ದರೆ, ಈ ಸಮರ್ಪಿತ ಮಾರ್ಗದರ್ಶಿಗಳನ್ನು ಬಳಸಿ (ಪ್ರತಿ ಒಂದು ಮೇಲಿನ ವ್ಯಾಪಕ ಮಾದರಿ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳನ್ನು ಪೂರಕವಾಗಿವೆ): | ಕಾರ್ಯಾಗಾರ ಅಧಿವೇಶನ | ಮಾರ್ಗದರ್ಶಿ | ಮೂಲ ಕೇಂದ್ರೀಕರಣ | |--------------------|------------|------------------| | 1 | [Session01-GettingStartedFoundryLocal](./Session01-GettingStartedFoundryLocal.md) | ಸ್ಥಾಪನೆ, ಪರಿಶೀಲನೆ, phi & GPT-OSS-20B ಚಾಲನೆ, ವೇಗವರ್ಧನೆ | | 2 | [Session02-BuildAISolutionsRAG](./Session02-BuildAISolutionsRAG.md) | ಪ್ರಾಂಪ್ಟ್ ಎಂಜಿನಿಯರಿಂಗ್, RAG ಮಾದರಿಗಳು, CSV & ಡಾಕ್ಯುಮೆಂಟ್ ನೆಲೆಗೊಳಿಸುವಿಕೆ, ಸ್ಥಳಾಂತರ | | 3 | [Session03-OpenSourceModels](./Session03-OpenSourceModels.md) | Hugging Face ಸಂಯೋಜನೆ, ಬೆಂಚ್‌ಮಾರ್ಕಿಂಗ್, ಮಾದರಿ ಆಯ್ಕೆ | | 4 | [Session04-CuttingEdgeModels](./Session04-CuttingEdgeModels.md) | SLM ಮತ್ತು LLM, WebGPU, Chainlit RAG, ONNX ವೇಗವರ್ಧನೆ | | 5 | [Session05-AIPoweredAgents](./Session05-AIPoweredAgents.md) | ಏಜೆಂಟ್ ಪಾತ್ರಗಳು, ಮೆಮೊರಿ, ಟೂಲ್ಸ್, ಸಂಯೋಜನೆ | | 6 | [Session06-ModelsAsTools](./Session06-ModelsAsTools.md) | ರೌಟಿಂಗ್, ಚೈನಿಂಗ್, ಅಜೂರ್‌ಗೆ ಮಾರ್ಗದರ್ಶನದ ಪ್ರಮಾಣವರ್ಧನೆ | ಪ್ರತಿ ಸೆಷನ್ ಫೈಲ್‌ನಲ್ಲಿ ಒಳಗೊಂಡಿದೆ: ಸಾರಾಂಶ, ಕಲಿಕೆಯ ಉದ್ದೇಶಗಳು, 30 ನಿಮಿಷಗಳ ಡೆಮೊ ಫ್ಲೋ, ಪ್ರಾರಂಭಿಕ ಪ್ರಾಜೆಕ್ಟ್, ಮಾನ್ಯತೆ ಪರಿಶೀಲನಾ ಪಟ್ಟಿ, ಸಮಸ್ಯೆ ಪರಿಹಾರ, ಮತ್ತು ಅಧಿಕೃತ ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಪೈಥಾನ್ SDK ಗೆ ಉಲ್ಲೇಖಗಳು. ### ಮಾದರಿ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು ಕಾರ್ಯಾಗಾರ ಅವಲಂಬನೆಗಳನ್ನು ಸ್ಥಾಪಿಸಿ (ವಿಂಡೋಸ್): ```powershell cd Workshop py -m venv .venv .\.venv\Scripts\activate pip install -r requirements.txt ``` ಮ್ಯಾಕ್‌ಒಎಸ್ / ಲಿನಕ್ಸ್ನಲ್ಲಿ: ```bash cd Workshop python3 -m venv .venv source .venv/bin/activate pip install -r requirements.txt ``` ಮ್ಯಾಕ್‌ಒಎಸ್‌ನಿಂದ ವಿಭಿನ್ನ (ವಿಂಡೋಸ್) ಯಂತ್ರ ಅಥವಾ VM ನಲ್ಲಿ ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಸೇವೆಯನ್ನು ಚಾಲನೆ ಮಾಡುತ್ತಿದ್ದರೆ, ಎಂಡ್ಪಾಯಿಂಟ್ ಅನ್ನು ರಫ್ತುಮಾಡಿ: ```bash export FOUNDRY_LOCAL_ENDPOINT=http://:5273/v1 ``` | ಸೆಷನ್ | ಸ್ಕ್ರಿಪ್ಟ್(ಗಳು) | ವಿವರಣೆ | |---------|-----------|-------------| | 1 | `samples/session01/chat_bootstrap.py` | ಬೂಟ್‌ಸ್ಟ್ರಾಪ್ ಸೇವೆ ಮತ್ತು ಸ್ಟ್ರೀಮಿಂಗ್ ಚಾಟ್ | | 2 | `samples/session02/rag_pipeline.py` | ಕನಿಷ್ಠ RAG (ಮೆಮೊರಿಯಲ್ಲಿ ಎम्बೆಡ್ಡಿಂಗ್‌ಗಳು) | | | `samples/session02/rag_eval_ragas.py` | ರಾಗಾ ಮೆಟ್ರಿಕ್ಸ್‌ನೊಂದಿಗೆ RAG ಮೌಲ್ಯಮಾಪನ | | 3 | `samples/session03/benchmark_oss_models.py` | ಬಹು-ಮಾದರಿ ವಿಳಂಬ ಮತ್ತು ಥ್ರೂಪುಟ್ ಬೆಂಚ್ಮಾರ್ಕಿಂಗ್ | | 4 | `samples/session04/model_compare.py` | SLM ವಿರುದ್ಧ LLM ಹೋಲಿಕೆ (ವಿಳಂಬ ಮತ್ತು ಮಾದರಿ ಔಟ್‌ಪುಟ್) | | 5 | `samples/session05/agents_orchestrator.py` | ಎರಡು-ಏಜೆಂಟ್ ಸಂಶೋಧನೆ → ಸಂಪಾದಕೀಯ ಪೈಪ್‌ಲೈನ್ | | 6 | `samples/session06/models_router.py` | ಉದ್ದೇಶ ಆಧಾರಿತ ರೌಟಿಂಗ್ ಡೆಮೊ | | | `samples/session06/models_pipeline.py` | ಬಹು-ಹಂತ ಯೋಜನೆ/ನಿರ್ವಹಣೆ/ಸಂಶೋಧನೆ ಸರಪಳಿ | ### ಪರಿಸರ ಚರಗಳು (ಮಾದರಿಗಳಲ್ಲಿ ಸಾಮಾನ್ಯ) | ಚರ | ಉದ್ದೇಶ | ಉದಾಹರಣೆ | |----------|---------|---------| | `FOUNDRY_LOCAL_ALIAS` | ಮೂಲ ಮಾದರಿ ಅಲಿಯಾಸ್ ಮೂಲ ಮಾದರಿಗಳಿಗಾಗಿ | `phi-4-mini` | | `SLM_ALIAS` / `LLM_ALIAS` | ಸ್ಪಷ್ಟ SLM ವಿರುದ್ಧ ದೊಡ್ಡ ಮಾದರಿ ಹೋಲಿಕೆಗಾಗಿ | `phi-4-mini` / `gpt-oss-20b` | | `BENCH_MODELS` | ಬೆಂಚ್ಮಾರ್ಕ್ ಮಾಡಲು ಅಲಿಯಾಸ್‌ಗಳ comma ಪಟ್ಟಿ | `qwen2.5-0.5b,mistral-7b` | | `BENCH_ROUNDS` | ಪ್ರತಿ ಮಾದರಿಗಾಗಿ ಬೆಂಚ್ಮಾರ್ಕ್ ಪುನರಾವೃತ್ತಿಗಳು | `3` | | `BENCH_PROMPT` | ಬೆಂಚ್ಮಾರ್ಕ್‌ನಲ್ಲಿ ಬಳಸುವ ಪ್ರಾಂಪ್ಟ್ | `Explain retrieval augmented generation briefly.` | | `EMBED_MODEL` | ಸೆಂಟೆನ್ಸ್-ಟ್ರಾನ್ಸ್‌ಫಾರ್ಮರ್ಸ್ ಎम्बೆಡ್ಡಿಂಗ್ ಮಾದರಿ | `sentence-transformers/all-MiniLM-L6-v2` | | `RAG_QUESTION` | RAG ಪೈಪ್‌ಲೈನ್‌ಗೆ ಪರೀಕ್ಷಾ ಪ್ರಶ್ನೆ ಮೀರಿಸುವಿಕೆ | `Why use RAG with local inference?` | | `AGENT_QUESTION` | ಏಜೆಂಟ್‌ಗಳ ಪೈಪ್‌ಲೈನ್ ಪ್ರಶ್ನೆ ಮೀರಿಸುವಿಕೆ | `Explain why edge AI matters for compliance.` | | `AGENT_MODEL_PRIMARY` | ಸಂಶೋಧನಾ ಏಜೆಂಟ್ ಮಾದರಿ ಅಲಿಯಾಸ್ | `phi-4-mini` | | `AGENT_MODEL_EDITOR` | ಸಂಪಾದಕ ಏಜೆಂಟ್ ಮಾದರಿ ಅಲಿಯಾಸ್ (ಬೇರೆ ಇರಬಹುದು) | `gpt-oss-20b` | | `SHOW_USAGE` | `1` ಆಗಿದ್ದರೆ, ಪ್ರತಿ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಗೆ ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಮುದ್ರಿಸುತ್ತದೆ | `1` | | `RETRY_ON_FAIL` | `1` ಆಗಿದ್ದರೆ, ತಾತ್ಕಾಲಿಕ ಚಾಟ್ ದೋಷಗಳ ಮೇಲೆ ಒಮ್ಮೆ ಮರುಪ್ರಯತ್ನ | `1` | | `RETRY_BACKOFF` | ಮರುಪ್ರಯತ್ನಕ್ಕೆ ಮುಂಚೆ ಕಾಯುವ ಸೆಕೆಂಡುಗಳು | `1.0` | ಚರವನ್ನು ಹೊಂದಿಸಲಾಗದಿದ್ದರೆ, ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು ಸೂಕ್ತ ಡೀಫಾಲ್ಟ್‌ಗಳಿಗೆ ಹಿಂತಿರುಗುತ್ತವೆ. ಏಕ-ಮಾದರಿ ಡೆಮೊಗಳಿಗೆ ಸಾಮಾನ್ಯವಾಗಿ `FOUNDRY_LOCAL_ALIAS` ಮಾತ್ರ ಬೇಕಾಗುತ್ತದೆ. ### ಉಪಯುಕ್ತತೆ ಮೋಡ್ಯೂಲ್ ಎಲ್ಲಾ ಮಾದರಿಗಳು ಈಗ ಸಹಾಯಕರಾಗಿ `samples/workshop_utils.py` ಅನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ, ಇದು: * ಕ್ಯಾಶೆಡ್ `FoundryLocalManager` + OpenAI ಕ್ಲೈಂಟ್ ರಚನೆ * `chat_once()` ಸಹಾಯಕರೊಂದಿಗೆ ಐಚ್ಛಿಕ ಮರುಪ್ರಯತ್ನ + ಬಳಕೆ ಮುದ್ರಣ * ಸರಳ ಟೋಕನ್ ಬಳಕೆ ವರದಿ (ಸಕ್ರಿಯಗೊಳಿಸಲು `SHOW_USAGE=1`) ಇದು ನಕಲಿಸುವಿಕೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ಪರಿಣಾಮಕಾರಿ ಸ್ಥಳೀಯ ಮಾದರಿ ಸಂಯೋಜನೆಗೆ ಉತ್ತಮ ಅಭ್ಯಾಸಗಳನ್ನು ಹೈಲೈಟ್ ಮಾಡುತ್ತದೆ. ## ಐಚ್ಛಿಕ ಸುಧಾರಣೆಗಳು (ಕ್ರಾಸ್-ಸೆಷನ್) | ಥೀಮ್ | ಸುಧಾರಣೆ | ಸೆಷನ್‌ಗಳು | ಪರಿಸರ / ಟಾಗಲ್ | |-------|-------------|----------|--------------| | ನಿರ್ಧಾರಾತ್ಮಕತೆ | ನಿಶ್ಚಿತ ತಾಪಮಾನ + ಸ್ಥಿರ ಪ್ರಾಂಪ್ಟ್ ಸೆಟ್‌ಗಳು | 1–6 | `temperature=0`, `top_p=1` ಸೆಟ್ ಮಾಡಿ | | ಟೋಕನ್ ಬಳಕೆ ದೃಶ್ಯತೆ | ಸತತ ವೆಚ್ಚ/ಕಾರ್ಯಕ್ಷಮತೆ ಬೋಧನೆ | 1–6 | `SHOW_USAGE=1` | | ಸ್ಟ್ರೀಮಿಂಗ್ ಮೊದಲ ಟೋಕನ್ | ಗ್ರಹಿಸಲಾದ ವಿಳಂಬ ಮಿತಿ | 1,3,4,6 | `BENCH_STREAM=1` (ಬೆಂಚ್ಮಾರ್ಕ್) | | ಮರುಪ್ರಯತ್ನ ಸ್ಥೈರ್ಯತೆ | ತಾತ್ಕಾಲಿಕ ಶೀತಲ-ಪ್ರಾರಂಭವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ | ಎಲ್ಲ | `RETRY_ON_FAIL=1` + `RETRY_BACKOFF` | | ಬಹು-ಮಾದರಿ ಏಜೆಂಟ್‌ಗಳು | ವಿಭಿನ್ನ ಪಾತ್ರ ವಿಶೇಷೀಕರಣ | 5 | `AGENT_MODEL_PRIMARY`, `AGENT_MODEL_EDITOR` | | ಹೊಂದಿಕೊಳ್ಳುವ ರೌಟಿಂಗ್ | ಉದ್ದೇಶ + ವೆಚ್ಚ ಹ್ಯೂರಿಸ್ಟಿಕ್ಸ್ | 6 | ರೌಟರ್ ಅನ್ನು ವಿಸ್ತರಿಸಿ ಏಸ್ಕಲೇಶನ್ ಲಾಜಿಕ್‌ಗಾಗಿ | | ವೆಕ್ಟರ್ ಮೆಮೊರಿ | ದೀರ್ಘಕಾಲಿಕ ಅರ್ಥಪೂರ್ಣ ಸ್ಮರಣೆ | 2,5,6 | FAISS/Chroma ಎम्बೆಡ್ಡಿಂಗ್ ಸೂಚ್ಯಂಕವನ್ನು ಸಂಯೋಜಿಸಿ | | ಟ್ರೇಸ್ ರಫ್ತು | ಆಡಿಟಿಂಗ್ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ | 2,5,6 | ಪ್ರತಿ ಹಂತಕ್ಕೆ JSON ಸಾಲುಗಳನ್ನು ಸೇರಿಸಿ | | ಗುಣಮಟ್ಟ ರೂಬ್ರಿಕ್ಸ್ | ಗುಣಾತ್ಮಕ ಟ್ರ್ಯಾಕಿಂಗ್ | 3–6 | ದ್ವಿತೀಯ ಸ್ಕೋರಿಂಗ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳು | | ಧೂಮಪಾನ ಪರೀಕ್ಷೆಗಳು | ವೇಗದ ಪೂರ್ವ-ಕಾರ್ಯಾಗಾರ ಮಾನ್ಯತೆ | ಎಲ್ಲ | `python Workshop/tests/smoke.py` | ### ನಿರ್ಧಾರಾತ್ಮಕ ತ್ವರಿತ ಪ್ರಾರಂಭ ```powershell set FOUNDRY_LOCAL_ALIAS=phi-4-mini set SHOW_USAGE=1 python Workshop\tests\smoke.py ``` ಪುನರಾವರ್ತಿತ ಸಮಾನ ಇನ್‌ಪುಟ್‌ಗಳ ಮೇಲೆ ಸ್ಥಿರ ಟೋಕನ್ ಎಣಿಕೆಗಳನ್ನು ನಿರೀಕ್ಷಿಸಿ. ### RAG ಮೌಲ್ಯಮಾಪನ (ಸೆಷನ್ 2) ಸಣ್ಣ ಸಿಂಥೆಟಿಕ್ ಡೇಟಾಸೆಟ್‌ನಲ್ಲಿ ಉತ್ತರ ಸಂಬಂಧಿತತೆ, ನಿಷ್ಠೆ ಮತ್ತು ಸನ್ನಿವೇಶ ನಿಖರತೆಯನ್ನು ಲೆಕ್ಕಹಾಕಲು `rag_eval_ragas.py` ಬಳಸಿ: ```powershell cd Workshop/samples python -m session02.rag_eval_ragas ``` ಪ್ರಶ್ನೆಗಳು, ಸನ್ನಿವೇಶಗಳು ಮತ್ತು ನೆಲಸತ್ಯಗಳ ದೊಡ್ಡ JSONL ಅನ್ನು ಒದಗಿಸಿ ವಿಸ್ತರಿಸಿ, ನಂತರ ಅದನ್ನು Hugging Face `Dataset` ಗೆ ಪರಿವರ್ತಿಸಿ. ## CLI ಕಮಾಂಡ್ ನಿಖರತೆ ಪರಿಷ್ಕರಣೆ ಕಾರ್ಯಾಗಾರವು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಪ್ರಸ್ತುತ ದಾಖಲೆ/ಸ್ಥಿರ ಫೌಂಡ್ರಿ ಲೋಕಲ್ CLI ಕಮಾಂಡ್‌ಗಳನ್ನು ಮಾತ್ರ ಬಳಸುತ್ತದೆ. ### ಸ್ಥಿರ ಕಮಾಂಡ್‌ಗಳು ಉಲ್ಲೇಖಿಸಲಾಗಿದೆ | ವರ್ಗ | ಕಮಾಂಡ್ | ಉದ್ದೇಶ | |----------|---------|---------| | ಕೋರ್ | `foundry --version` | ಸ್ಥಾಪಿತ ಆವೃತ್ತಿ ತೋರಿಸಿ | | ಸೇವೆ | `foundry service start` | ಸ್ಥಳೀಯ ಸೇವೆಯನ್ನು ಪ್ರಾರಂಭಿಸಿ (ಸ್ವಯಂಚಾಲಿತವಲ್ಲದಿದ್ದರೆ) | | ಸೇವೆ | `foundry service status` | ಸೇವೆಯ ಸ್ಥಿತಿಯನ್ನು ತೋರಿಸಿ | | ಮಾದರಿ | `foundry model list` | ಕ್ಯಾಟಲಾಗ್ / ಲಭ್ಯವಿರುವ ಮಾದರಿಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ | | ಮಾದರಿ | `foundry model download ` | ಮಾದರಿ ತೂಕಗಳನ್ನು ಕ್ಯಾಶೆಗೆ ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ | | ಮಾದರಿ | `foundry model run ` | ಸ್ಥಳೀಯವಾಗಿ ಮಾದರಿಯನ್ನು ಪ್ರಾರಂಭಿಸಿ (ಲೋಡ್ ಮಾಡಿ); ಒನ್-ಶಾಟ್‌ಗೆ `--prompt` ಜೊತೆಗೆ ಬಳಸಿ | | ಮಾದರಿ | `foundry model unload ` / `foundry model stop ` | ಮೆಮೊರಿಯಿಂದ ಮಾದರಿಯನ್ನು ಅನ್ಲೋಡ್ ಮಾಡಿ (ಬೆಂಬಲಿತವಿದ್ದರೆ) | | ಕ್ಯಾಶೆ | `foundry cache list` | ಕ್ಯಾಶೆ ಮಾಡಲಾದ (ಡೌನ್‌ಲೋಡ್ ಮಾಡಿದ) ಮಾದರಿಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ | ### ಒನ್-ಶಾಟ್ ಪ್ರಾಂಪ್ಟ್ ಮಾದರಿ ಹಳೆಯ `model chat` ಉಪಕಮಾಂಡ್ ಬದಲು, ಬಳಸಿ: ```powershell foundry model run --prompt "Your question here" ``` ಇದು ಒಬ್ಬ ಪ್ರಾಂಪ್ಟ್/ಪ್ರತಿಕ್ರಿಯೆ ಚಕ್ರವನ್ನು ನಿರ್ವಹಿಸಿ ನಂತರ ನಿರ್ಗಮಿಸುತ್ತದೆ. ### ತೆಗೆದುಹಾಕಲಾದ / ತಪ್ಪಿಸಿಕೊಂಡ ಮಾದರಿಗಳು | ಹಳೆಯ / ದಾಖಲೆ ಇಲ್ಲದ | ಬದಲಾವಣೆ / ಮಾರ್ಗದರ್ಶನ | |---------------------------|------------------------| | `foundry model chat "..."` | `foundry model run --prompt "..."` | | `foundry model list --running` | ಸರಳ `foundry model list` + ಇತ್ತೀಚಿನ ಚಟುವಟಿಕೆ / ಲಾಗ್‌ಗಳು ಬಳಸಿ | | `foundry model list --cached` | `foundry cache list` | | `foundry model stats ` | ಬೆಂಚ್ಮಾರ್ಕ್ ಪೈಥಾನ್ ಸ್ಕ್ರಿಪ್ಟ್ + OS ಉಪಕರಣಗಳು (ಟಾಸ್ಕ್ ಮ್ಯಾನೇಜರ್ / `nvidia-smi`) ಬಳಸಿ | | `foundry model benchmark ...` | `samples/session03/benchmark_oss_models.py` | ### ಬೆಂಚ್ಮಾರ್ಕಿಂಗ್ ಮತ್ತು ಟೆಲಿಮೆಟ್ರಿ - ವಿಳಂಬ, p95, ಟೋಕನ್ಸ್/ಸೆಕೆಂಡ್: `samples/session03/benchmark_oss_models.py` - ಮೊದಲ ಟೋಕನ್ ವಿಳಂಬ (ಸ್ಟ್ರೀಮಿಂಗ್): `BENCH_STREAM=1` ಸೆಟ್ ಮಾಡಿ - ಸಂಪನ್ಮೂಲ ಬಳಕೆ: OS ಮಾನಿಟರ್‌ಗಳು (ಟಾಸ್ಕ್ ಮ್ಯಾನೇಜರ್, ಆಕ್ಟಿವಿಟಿ ಮಾನಿಟರ್, `nvidia-smi`). ಹೊಸ CLI ಟೆಲಿಮೆಟ್ರಿ ಕಮಾಂಡ್‌ಗಳು ಮೇಲ್ಮಟ್ಟದಲ್ಲಿ ಸ್ಥಿರವಾಗುತ್ತಿದ್ದಂತೆ, ಅವುಗಳನ್ನು ಸೆಷನ್ ಮಾರ್ಕ್‌ಡೌನ್‌ಗಳಿಗೆ ಕನಿಷ್ಠ ಸಂಪಾದನೆಗಳೊಂದಿಗೆ ಸೇರಿಸಬಹುದು. ### ಸ್ವಯಂಚಾಲಿತ ಲಿಂಟ್ ಗಾರ್ಡ್ ಸ್ವಯಂಚಾಲಿತ ಲಿಂಟರ್ ಮಾರ್ಕ್‌ಡೌನ್ ಫೈಲ್‌ಗಳ ಫೆನ್ಸ್ಡ್ ಕೋಡ್ ಬ್ಲಾಕ್‌ಗಳಲ್ಲಿ ಹಳೆಯ CLI ಮಾದರಿಗಳನ್ನು ಮರುಪರಿಚಯಿಸುವುದನ್ನು ತಡೆಯುತ್ತದೆ: ಸ್ಕ್ರಿಪ್ಟ್: `Workshop/scripts/lint_markdown_cli.py` ಹಳೆಯ ಮಾದರಿಗಳು ಕೋಡ್ ಫೆನ್ಸುಗಳಲ್ಲಿ ತಡೆಯಲ್ಪಟ್ಟಿವೆ. ಶಿಫಾರಸು ಮಾಡಿದ ಬದಲಾವಣೆಗಳು: | ಹಳೆಯ | ಬದಲಾವಣೆ | |------------|-------------| | `foundry model chat "..."` | `foundry model run --prompt "..."` | | `model list --running` | `model list` | | `model list --cached` | `cache list` | | `model stats` | ಬೆಂಚ್ಮಾರ್ಕ್ ಸ್ಕ್ರಿಪ್ಟ್ + ಸಿಸ್ಟಮ್ ಉಪಕರಣಗಳು | | `model benchmark` | `samples/session03/benchmark_oss_models.py` | | `model list --available` | `model list` | ಸ್ಥಳೀಯವಾಗಿ ಚಾಲನೆ ಮಾಡಿ: ```powershell python Workshop\scripts\lint_markdown_cli.py --verbose ``` GitHub ಕ್ರಿಯೆ: `.github/workflows/markdown-cli-lint.yml` ಪ್ರತಿ ಪುಷ್ ಮತ್ತು PR ಮೇಲೆ ಚಾಲನೆ ಮಾಡುತ್ತದೆ. ಐಚ್ಛಿಕ ಪೂರ್ವ-ಕಮಿಟ್ ಹೂಕ್: ```bash echo "python Workshop/scripts/lint_markdown_cli.py" > .git/hooks/pre-commit chmod +x .git/hooks/pre-commit ``` ## ತ್ವರಿತ CLI → SDK ಸ್ಥಳಾಂತರ ಟೇಬಲ್ | ಕಾರ್ಯ | CLI ಒನ್-ಲೈನರ್ | SDK (ಪೈಥಾನ್) ಸಮಾನಾರ್ಥಕ | ಟಿಪ್ಪಣಿಗಳು | |------|---------------|-------------------------|-------| | ಒಂದು ಬಾರಿ ಮಾದರಿ ಚಾಲನೆ (ಪ್ರಾಂಪ್ಟ್) | `foundry model run phi-4-mini --prompt "Hello"` | `manager=FoundryLocalManager("phi-4-mini"); client=OpenAI(base_url=manager.endpoint, api_key=manager.api_key or "not-needed"); client.chat.completions.create(model=manager.get_model_info("phi-4-mini").id, messages=[{"role":"user","content":"Hello"}])` | SDK ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಸೇವೆ ಮತ್ತು ಕ್ಯಾಶಿಂಗ್ ಪ್ರಾರಂಭಿಸುತ್ತದೆ | | ಡೌನ್‌ಲೋಡ್ (ಕ್ಯಾಶೆ) ಮಾದರಿ | `foundry model download qwen2.5-0.5b` | `FoundryLocalManager("qwen2.5-0.5b") # triggers download/load` | ಅಲಿಯಾಸ್‌ಗಳು ಬಹು ನಿರ್ಮಾಣಗಳಿಗೆ ನಕ್ಷೆ ಮಾಡಿದ್ದರೆ ಮ್ಯಾನೇಜರ್ ಉತ್ತಮ ರೂಪಾಂತರವನ್ನು ಆಯ್ಕೆಮಾಡುತ್ತದೆ | | ಕ್ಯಾಟಲಾಗ್ ಪಟ್ಟಿ | `foundry model list` | `# use manager for each alias or maintain known list` | CLI ಸಂಗ್ರಹಿಸುತ್ತದೆ; SDK ಪ್ರತಿ ಅಲಿಯಾಸ್ ಪ್ರಾರಂಭಣೆಯಲ್ಲಿ ಪ್ರಸ್ತುತವಾಗಿದೆ | | ಕ್ಯಾಶೆ ಮಾಡಲಾದ ಮಾದರಿಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡಿ | `foundry cache list` | `manager.list_cached_models()` | ಮ್ಯಾನೇಜರ್ ಪ್ರಾರಂಭದ ನಂತರ (ಯಾವುದೇ ಅಲಿಯಾಸ್) | | ಎಂಡ್ಪಾಯಿಂಟ್ URL ಪಡೆಯಿರಿ | (ಅನೌಪಚಾರಿಕ) | `manager.endpoint` | OpenAI-ಸಮ್ಮತ ಕ್ಲೈಂಟ್ ರಚಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ | | ಮಾದರಿಯನ್ನು ತಾಪಮಾನಗೊಳಿಸಿ | `foundry model run ` ನಂತರ ಮೊದಲ ಪ್ರಾಂಪ್ಟ್ | `chat_once(alias, messages=[...])` (ಉಪಯುಕ್ತತೆ) | ಉಪಯುಕ್ತತೆಗಳು ಪ್ರಾಥಮಿಕ ಶೀತಲ ವಿಳಂಬ ತಾಪಮಾನಗೊಳಿಸುವಿಕೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತವೆ | | ವಿಳಂಬವನ್ನು ಅಳೆಯಿರಿ | `python -m session03.benchmark_oss_models` | `import benchmark_oss_models` (ಅಥವಾ ಹೊಸ ರಫ್ತು ಸ್ಕ್ರಿಪ್ಟ್) | ಸತತ ಮಿತಿಗಳಿಗಾಗಿ ಸ್ಕ್ರಿಪ್ಟ್ ಪ್ರಾಧಾನ್ಯತೆ | | ಮಾದರಿಯನ್ನು ನಿಲ್ಲಿಸಿ / ಅನ್ಲೋಡ್ ಮಾಡಿ | `foundry model unload ` | (ಪ್ರಕಟಿಸಲಾಗಿಲ್ಲ – ಸೇವೆ / ಪ್ರಕ್ರಿಯೆಯನ್ನು ಮರುಪ್ರಾರಂಭಿಸಿ) | ಸಾಮಾನ್ಯವಾಗಿ ಕಾರ್ಯಾಗಾರ ಪ್ರವಾಹಕ್ಕೆ ಅಗತ್ಯವಿಲ್ಲ | | ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಪಡೆಯಿರಿ | (ಔಟ್‌ಪುಟ್ ನೋಡಿ) | `resp.usage.total_tokens` | ಬ್ಯಾಕೆಂಡ್ ಬಳಕೆ ವಸ್ತುವನ್ನು ಹಿಂತಿರುಗಿಸಿದರೆ ಒದಗಿಸಲಾಗುತ್ತದೆ | ## ಬೆಂಚ್ಮಾರ್ಕ್ ಮಾರ್ಕ್‌ಡೌನ್ ರಫ್ತು `Workshop/scripts/export_benchmark_markdown.py` ಸ್ಕ್ರಿಪ್ಟ್ ಬಳಸಿ ಹೊಸ ಬೆಂಚ್ಮಾರ್ಕ್ ನಡೆಸಿ (`samples/session03/benchmark_oss_models.py` ನಂತಹ ಲಾಜಿಕ್) ಮತ್ತು GitHub-ಸ್ನೇಹಿ ಮಾರ್ಕ್‌ಡೌನ್ ಟೇಬಲ್ ಜೊತೆಗೆ ಕಚ್ಚಾ JSON ಅನ್ನು ರಫ್ತುಮಾಡಿ. ### ಉದಾಹರಣೆ ```powershell python Workshop\scripts\export_benchmark_markdown.py --models "qwen2.5-0.5b,mistral-7b" --prompt "Explain retrieval augmented generation briefly." --rounds 3 --output benchmark_report.md ``` ಉತ್ಪಾದಿತ ಫೈಲ್‌ಗಳು: | ಫೈಲ್ | ವಿಷಯಗಳು | |------|----------| | `benchmark_report.md` | ಮಾರ್ಕ್‌ಡೌನ್ ಟೇಬಲ್ + ವಿವರಣೆ ಸೂಚನೆಗಳು | | `benchmark_report.json` | ಕಚ್ಚಾ ಮೆಟ್ರಿಕ್ ಸರಣಿ (ತಾರತಮ್ಯ / ಪ್ರವೃತ್ತಿ ಟ್ರ್ಯಾಕಿಂಗ್‌ಗಾಗಿ) | ಮೊದಲ ಟೋಕನ್ ವಿಳಂಬವನ್ನು ಒಳಗೊಂಡಿರಲು ಬೆಂಚ್ ಸ್ಟ್ರೀಮ್ ಅನ್ನು ಪರಿಸರದಲ್ಲಿ `BENCH_STREAM=1` ಸೆಟ್ ಮಾಡಿ. --- **ಅಸ್ವೀಕಾರ**: ಈ ದಸ್ತಾವೇಜು [Co-op Translator](https://github.com/Azure/co-op-translator) ಎಂಬ AI ಅನುವಾದ ಸೇವೆಯನ್ನು ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ಶುದ್ಧತೆಯತ್ತ ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ತಪ್ಪುಗಳು ಅಥವಾ ಅಸತ್ಯತೆಗಳು ಇರಬಹುದು ಎಂದು ದಯವಿಟ್ಟು ಗಮನಿಸಿ. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ಅಧಿಕೃತ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಮಹತ್ವದ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದ ಬಳಕೆಯಿಂದ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆ ಅಥವಾ ತಪ್ಪು ವಿವರಣೆಗಳಿಗೆ ನಾವು ಹೊಣೆಗಾರರಾಗುವುದಿಲ್ಲ.