# ಅಧ್ಯಾಯ 05 : SLMOps - ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿ ಕಾರ್ಯಾಚರಣೆಗಳ ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿ ## ಅವಲೋಕನ SLMOps (ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿ ಕಾರ್ಯಾಚರಣೆಗಳು) ಕಾರ್ಯಕ್ಷಮತೆ, ವೆಚ್ಚ-ಪ್ರಭಾವಶೀಲತೆ ಮತ್ತು ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪ್ರಾಥಮ್ಯ ನೀಡುವ AI ನಿಯೋಜನೆಗೆ ಕ್ರಾಂತಿಕಾರಿ ದೃಷ್ಟಿಕೋನವನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ. ಈ ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿ SLM ಕಾರ್ಯಾಚರಣೆಗಳ ಸಂಪೂರ್ಣ ಜೀವನಚಕ್ರವನ್ನು ಒಳಗೊಂಡಿದೆ, ಮೂಲಭೂತ ತತ್ವಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದರಿಂದ ಪ್ರೊಡಕ್ಷನ್-ಸಿದ್ಧ ನಿಯೋಜನೆಗಳನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸುವವರೆಗೆ. --- ## [ವಿಭಾಗ 1: SLMOps ಗೆ ಪರಿಚಯ](./01.IntroduceSLMOps.md) **ಎಡ್ಜ್ ನಲ್ಲಿ AI ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಕ್ರಾಂತಿಕರಗೊಳಿಸುವುದು** ಈ ಮೂಲಭೂತ ಅಧ್ಯಾಯವು ಸಾಂಪ್ರದಾಯಿಕ ದೊಡ್ಡ-ಮಟ್ಟದ AI ಕಾರ್ಯಾಚರಣೆಗಳಿಂದ ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿ ಕಾರ್ಯಾಚರಣೆಗಳ (SLMOps) ಪರಿಕಲ್ಪನೆ ಬದಲಾವಣೆಯನ್ನು ಪರಿಚಯಿಸುತ್ತದೆ. ನೀವು SLMOps ಹೇಗೆ AI ನಿಯೋಜನೆಯಲ್ಲಿ ಪ್ರಮುಖ ಸವಾಲುಗಳನ್ನು ಪರಿಹರಿಸುತ್ತದೆ ಮತ್ತು ವೆಚ್ಚದ ಪರಿಣಾಮಕಾರಿತ್ವ ಮತ್ತು ಗೌಪ್ಯತೆ ಅನುಕೂಲತೆಯನ್ನು ಕಾಪಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ಕಂಡುಹಿಡಿಯುತ್ತೀರಿ. **ನೀವು ಕಲಿಯುವದು:** - ಆಧುನಿಕ AI ತಂತ್ರತಜ್ಞೆಯಲ್ಲಿ SLMOps ಉದಯ ಮತ್ತು ಮಹತ್ವ - ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸಂಪನ್ಮೂಲ ಪರಿಣಾಮಕಾರಿತ್ವದ ನಡುವೆ SLMs ಸೇತುವೆ ಹೇಗೆ ನಿರ್ಮಿಸುತ್ತದೆ - ಬುದ್ಧಿವಂತ ಸಂಪನ್ಮೂಲ ನಿರ್ವಹಣೆ ಮತ್ತು ಗೌಪ್ಯತೆ-ಪ್ರಥಮ ವಾಸ್ತುಶಿಲ್ಪ ಸೇರಿದಂತೆ ಮೂಲ ಕಾರ್ಯಾಚರಣೆ ತತ್ವಗಳು - ವಾಸ್ತವಿಕ ಜಗತ್ತಿನ ಅನುಷ್ಠಾನ ಸವಾಲುಗಳು ಮತ್ತು ಅವುಗಳ ಪರಿಹಾರಗಳು - ತಂತ್ರಜ್ಞಾನಾತ್ಮಕ ವ್ಯವಹಾರ ಪ್ರಭಾವ ಮತ್ತು ಸ್ಪರ್ಧಾತ್ಮಕ ಲಾಭಗಳು **ಮುಖ್ಯ ಪಾಠ:** SLMOps ತಾಂತ್ರಿಕ ಮೂಲಸೌಕರ್ಯ ಕಡಿಮೆ ಇರುವ ಸಂಸ್ಥೆಗಳಿಗೆ ಸುಧಾರಿತ ಭಾಷಾ ಪ್ರಕ್ರಿಯೆ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಲಭ್ಯವಾಗಿಸುವ ಮೂಲಕ AI ನಿಯೋಜನೆಯನ್ನು ಜನಸಾಮಾನ್ಯಗೊಳಿಸುತ್ತದೆ, ವೇಗವಾದ ಅಭಿವೃದ್ಧಿ ಚಕ್ರಗಳು ಮತ್ತು ಹೆಚ್ಚು ನಿರೀಕ್ಷಿತ ಕಾರ್ಯಾಚರಣೆ ವೆಚ್ಚಗಳನ್ನು ಸಾಧ್ಯಮಾಡುತ್ತದೆ. --- ## [ವಿಭಾಗ 2: ಮಾದರಿ ಡಿಸ್ಟಿಲೇಶನ್ - ಸಿದ್ಧಾಂತದಿಂದ ಅಭ್ಯಾಸಕ್ಕೆ](./02.SLMOps-Distillation.md) **ಜ್ಞಾನ ವರ್ಗಾವಣೆಯ ಮೂಲಕ ಪರಿಣಾಮಕಾರಿ ಮಾದರಿಗಳನ್ನು ರಚಿಸುವುದು** ಮಾದರಿ ಡಿಸ್ಟಿಲೇಶನ್ ದೊಡ್ಡ ಮಾದರಿಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಉಳಿಸಿಕೊಂಡು ಸಣ್ಣ, ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿ ಮಾದರಿಗಳನ್ನು ರಚಿಸುವ ಮೂಲ ತಂತ್ರವಾಗಿದೆ. ಈ ಅಧ್ಯಾಯವು ದೊಡ್ಡ ಶಿಕ್ಷಕ ಮಾದರಿಗಳಿಂದ ಸಣ್ಣ ವಿದ್ಯಾರ್ಥಿ ಮಾದರಿಗಳಿಗೆ ಜ್ಞಾನ ವರ್ಗಾಯಿಸುವ ಡಿಸ್ಟಿಲೇಶನ್ ಕಾರ್ಯಪ್ರವಾಹಗಳನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸುವ ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಒದಗಿಸುತ್ತದೆ. **ನೀವು ಕಲಿಯುವದು:** - ಮಾದರಿ ಡಿಸ್ಟಿಲೇಶನ್ ಮೂಲಭೂತ ತತ್ವಗಳು ಮತ್ತು ಲಾಭಗಳು - ಎರಡು ಹಂತದ ಡಿಸ್ಟಿಲೇಶನ್ ಪ್ರಕ್ರಿಯೆ: ಸಿಂಥೆಟಿಕ್ ಡೇಟಾ ಉತ್ಪಾದನೆ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿ ಮಾದರಿ ತರಬೇತಿ - DeepSeek V3 ಮತ್ತು Phi-4-mini ಮುಂತಾದ ಅತ್ಯಾಧುನಿಕ ಮಾದರಿಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಪ್ರಾಯೋಗಿಕ ಅನುಷ್ಠಾನ ತಂತ್ರಗಳು - Azure ML ಡಿಸ್ಟಿಲೇಶನ್ ಕಾರ್ಯಪ್ರವಾಹಗಳು ಕೈಗೆಟುಕುವ ಉದಾಹರಣೆಗಳೊಂದಿಗೆ - ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್ ಟ್ಯೂನಿಂಗ್ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ತಂತ್ರಗಳ ಉತ್ತಮ ಅಭ್ಯಾಸಗಳು - ಪ್ರಮುಖ ವೆಚ್ಚ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆ ಸುಧಾರಣೆಗಳನ್ನು ತೋರಿಸುವ ವಾಸ್ತವಿಕ ಪ್ರಕರಣ ಅಧ್ಯಯನಗಳು **ಮುಖ್ಯ ಪಾಠ:** ಮಾದರಿ ಡಿಸ್ಟಿಲೇಶನ್ ಸಂಸ್ಥೆಗಳಿಗೆ ಮೂಲ ಮಾದರಿ ನಿಖರತೆಯ 92% ಉಳಿಸಿಕೊಂಡು 85% ಇನ್ಫರೆನ್ಸ್ ಸಮಯ ಕಡಿತ ಮತ್ತು 95% ಮೆಮೊರಿ ಅಗತ್ಯ ಕಡಿತ ಸಾಧಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಇದರಿಂದ ಸುಧಾರಿತ AI ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪ್ರಾಯೋಗಿಕವಾಗಿ ನಿಯೋಜಿಸಬಹುದು. --- ## [ವಿಭಾಗ 3: ಫೈನ್-ಟ್ಯೂನಿಂಗ್ - ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಗಳಿಗೆ ಮಾದರಿಗಳನ್ನು ಕಸ್ಟಮೈಸ್ ಮಾಡುವುದು](./03.SLMOps-Finetuing.md) **ನಿಮ್ಮ ವಿಶಿಷ್ಟ ಅಗತ್ಯಗಳಿಗೆ ಪೂರ್ವ-ತರಬೇತುದಾರ ಮಾದರಿಗಳನ್ನು ಹೊಂದಿಸುವುದು** ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಮಾದರಿಗಳನ್ನು ನಿಮ್ಮ ನಿರ್ದಿಷ್ಟ ಬಳಕೆ ಮತ್ತು ಕ್ಷೇತ್ರಗಳಿಗೆ ಹೊಂದಿಕೊಂಡ ವಿಶೇಷ ಪರಿಹಾರಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ. ಈ ಅಧ್ಯಾಯವು ಮೂಲಭೂತ ಪ್ಯಾರಾಮೀಟರ್ ಹೊಂದಿಕೆಯಿಂದ ಹಿಡಿದು LoRA ಮತ್ತು QLoRA ಮುಂತಾದ ಪರಿಣಾಮಕಾರಿ ಮಾದರಿ ಕಸ್ಟಮೈಜೇಶನ್ ತಂತ್ರಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. **ನೀವು ಕಲಿಯುವದು:** - ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ವಿಧಾನಶಾಸ್ತ್ರಗಳ ಸಮಗ್ರ ಅವಲೋಕನ ಮತ್ತು ಅವುಗಳ ಅನ್ವಯಿಕೆಗಳು - ವಿವಿಧ ರೀತಿಯ ಫೈನ್-ಟ್ಯೂನಿಂಗ್: ಸಂಪೂರ್ಣ ಫೈನ್-ಟ್ಯೂನಿಂಗ್, ಪ್ಯಾರಾಮೀಟರ್-ಪ್ರಭಾವಶೀಲ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ (PEFT), ಮತ್ತು ಕಾರ್ಯ-ನಿರ್ದಿಷ್ಟ ವಿಧಾನಗಳು - Microsoft Olive ಬಳಸಿ ಕೈಗೆಟುಕುವ ಅನುಷ್ಠಾನ ಉದಾಹರಣೆಗಳು - ಬಹು-ಅಡಾಪ್ಟರ್ ತರಬೇತಿ ಮತ್ತು ಹೈಪರ್‌ಪ್ಯಾರಾಮೀಟರ್ ಆಪ್ಟಿಮೈಜೆಷನ್ ಸೇರಿದಂತೆ ಉನ್ನತ ತಂತ್ರಗಳು - ಡೇಟಾ ತಯಾರಿ, ತರಬೇತಿ ಸಂರಚನೆ ಮತ್ತು ಸಂಪನ್ಮೂಲ ನಿರ್ವಹಣೆಯ ಉತ್ತಮ ಅಭ್ಯಾಸಗಳು - ಸಾಮಾನ್ಯ ಸವಾಲುಗಳು ಮತ್ತು ಯಶಸ್ವಿ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಯೋಜನೆಗಳಿಗೆ ಸಾಬೀತಾದ ಪರಿಹಾರಗಳು **ಮುಖ್ಯ ಪಾಠ:** Microsoft Olive ಮುಂತಾದ ಸಾಧನಗಳೊಂದಿಗೆ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಸಂಸ್ಥೆಗಳಿಗೆ ಪೂರ್ವ-ತರಬೇತುದಾರ ಮಾದರಿಗಳನ್ನು ನಿರ್ದಿಷ್ಟ ಅಗತ್ಯಗಳಿಗೆ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಹೊಂದಿಸಲು ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸಂಪನ್ಮೂಲ ನಿರ್ಬಂಧಗಳಿಗೆ ಅನುಗುಣವಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಇದರಿಂದ ವಿವಿಧ ಅನ್ವಯಿಕೆಗಳಲ್ಲಿ ಅತ್ಯಾಧುನಿಕ AI ಲಭ್ಯವಾಗುತ್ತದೆ. --- ## [ವಿಭಾಗ 4: ನಿಯೋಜನೆ - ಪ್ರೊಡಕ್ಷನ್-ಸಿದ್ಧ ಮಾದರಿ ಅನುಷ್ಠಾನ](./04.SLMOps.Deployment.md) **Foundry Local ಬಳಸಿ ಫೈನ್-ಟ್ಯೂನ್ಡ್ ಮಾದರಿಗಳನ್ನು ಪ್ರೊಡಕ್ಷನ್‌ಗೆ ತರುವುದು** ಕೊನೆಯ ಅಧ್ಯಾಯವು ಪ್ರಮುಖ ನಿಯೋಜನೆ ಹಂತದ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ, ಮಾದರಿ ಪರಿವರ್ತನೆ, ಕ್ವಾಂಟೈಜೆಷನ್ ಮತ್ತು ಪ್ರೊಡಕ್ಷನ್ ಸಂರಚನೆಯನ್ನು ಒಳಗೊಂಡಿದೆ. ನೀವು Foundry Local ಬಳಸಿ ಫೈನ್-ಟ್ಯೂನ್ಡ್ ಕ್ವಾಂಟೈಜ್ಡ್ ಮಾದರಿಗಳನ್ನು ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಸಂಪನ್ಮೂಲ ಬಳಕೆಯೊಂದಿಗೆ ನಿಯೋಜಿಸುವುದನ್ನು ಕಲಿಯುತ್ತೀರಿ. **ನೀವು ಕಲಿಯುವದು:** - ಸಂಪೂರ್ಣ ಪರಿಸರ ಸೆಟ್‌ಅಪ್ ಮತ್ತು ಸಾಧನ ಸ್ಥಾಪನೆ ಪ್ರಕ್ರಿಯೆಗಳು - ವಿವಿಧ ನಿಯೋಜನೆ ಸಂದರ್ಭಗಳಿಗೆ ಮಾದರಿ ಪರಿವರ್ತನೆ ಮತ್ತು ಕ್ವಾಂಟೈಜೆಷನ್ ತಂತ್ರಗಳು - ಮಾದರಿ-ನಿರ್ದಿಷ್ಟ ಆಪ್ಟಿಮೈಜೇಶನ್‌ಗಳೊಂದಿಗೆ Foundry Local ನಿಯೋಜನೆ ಸಂರಚನೆ - ಕಾರ್ಯಕ್ಷಮತೆ ಬೆಂಚ್ಮಾರ್ಕಿಂಗ್ ಮತ್ತು ಗುಣಮಟ್ಟ ಪರಿಶೀಲನೆ ವಿಧಾನಗಳು - ಸಾಮಾನ್ಯ ನಿಯೋಜನೆ ಸಮಸ್ಯೆಗಳ ಪರಿಹಾರ ಮತ್ತು ಆಪ್ಟಿಮೈಜೇಶನ್ ತಂತ್ರಗಳು - ಪ್ರೊಡಕ್ಷನ್ ಮೇಲ್ವಿಚಾರಣೆ ಮತ್ತು ನಿರ್ವಹಣೆಯ ಉತ್ತಮ ಅಭ್ಯಾಸಗಳು **ಮುಖ್ಯ ಪಾಠ:** ಕ್ವಾಂಟೈಜೆಷನ್ ತಂತ್ರಗಳೊಂದಿಗೆ ಸರಿಯಾದ ನಿಯೋಜನೆ ಸಂರಚನೆ 75% ವರೆಗೆ ಗಾತ್ರ ಕಡಿತವನ್ನು ಸಾಧಿಸಬಹುದು ಮತ್ತು ಸ್ವೀಕಾರಾರ್ಹ ಮಾದರಿ ಗುಣಮಟ್ಟವನ್ನು ಕಾಪಾಡುತ್ತದೆ, ಇದರಿಂದ ವಿವಿಧ ಹಾರ್ಡ್‌ವೇರ್ ಸಂರಚನೆಗಳಲ್ಲಿ ಪರಿಣಾಮಕಾರಿ ಪ್ರೊಡಕ್ಷನ್ ನಿಯೋಜನೆ ಸಾಧ್ಯವಾಗುತ್ತದೆ. --- ## ಪ್ರಾರಂಭಿಸುವುದು ಈ ಮಾರ್ಗದರ್ಶಿ ನಿಮಗೆ ಮೂಲಭೂತ ತತ್ವಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದರಿಂದ ಪ್ರೊಡಕ್ಷನ್-ಸಿದ್ಧ ನಿಯೋಜನೆಗಳನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸುವವರೆಗೆ ಸಂಪೂರ್ಣ SLMOps ಪ್ರಯಾಣವನ್ನು ನಡೆಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಪ್ರತಿ ಅಧ್ಯಾಯವು ಹಿಂದಿನದನ್ನು ಆಧರಿಸಿ ಸಿದ್ಧಾಂತಾತ್ಮಕ ಅರ್ಥಮಾಡಿಕೊಳ್ ಮತ್ತು ಪ್ರಾಯೋಗಿಕ ಅನುಷ್ಠಾನ ಕೌಶಲ್ಯಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ. ನೀವು ಮಾದರಿ ನಿಯೋಜನೆಯನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲು ಬಯಸುವ ಡೇಟಾ ವಿಜ್ಞಾನಿ, AI ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಅನುಷ್ಠಾನಗೊಳಿಸುವ DevOps ಎಂಜಿನಿಯರ್, ಅಥವಾ ನಿಮ್ಮ ಸಂಸ್ಥೆಗೆ SLMOps ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವ ತಾಂತ್ರಿಕ ನಾಯಕರಾಗಿದ್ದರೂ, ಈ ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿ ಸಣ್ಣ ಭಾಷಾ ಮಾದರಿ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಅನುಷ್ಠಾನಗೊಳಿಸಲು ಅಗತ್ಯ ಜ್ಞಾನ ಮತ್ತು ಸಾಧನಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ. **ಪ್ರಾರಂಭಿಸಲು ಸಿದ್ಧರಾ?** ಅಧ್ಯಾಯ 1 ರಿಂದ ಪ್ರಾರಂಭಿಸಿ SLMOps ಮೂಲಭೂತ ತತ್ವಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ ಮತ್ತು ಮುಂದಿನ ಅಧ್ಯಾಯಗಳಲ್ಲಿ ಒಳಗೊಂಡಿರುವ ಉನ್ನತ ಅನುಷ್ಠಾನ ತಂತ್ರಗಳಿಗೆ ನಿಮ್ಮ ಆಧಾರವನ್ನು ನಿರ್ಮಿಸಿ. --- **ಅಸ್ವೀಕರಣ**: ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ [Co-op Translator](https://github.com/Azure/co-op-translator) ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯಿಗಾಗಿ ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ತಪ್ಪುಗಳು ಅಥವಾ ಅಸತ್ಯತೆಗಳು ಇರಬಹುದು ಎಂದು ದಯವಿಟ್ಟು ಗಮನಿಸಿ. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ಅಧಿಕೃತ ಮೂಲವಾಗಿ ಪರಿಗಣಿಸಬೇಕು. ಪ್ರಮುಖ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದ ಬಳಕೆಯಿಂದ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆ ಅಥವಾ ತಪ್ಪು ವಿವರಣೆಗಳಿಗೆ ನಾವು ಹೊಣೆಗಾರರಾಗುವುದಿಲ್ಲ.