# EdgeAI ਸ਼ੁਰੂਆਤੀ ਲਈ - ਵਰਕਸ਼ਾਪ > **ਪ੍ਰੋਡਕਸ਼ਨ-ਤਿਆਰ ਐਜ AI ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣ ਲਈ ਹੈਂਡਸ-ਆਨ ਲਰਨਿੰਗ ਪਾਥ** > > ਮਾਈਕਰੋਸਾਫਟ ਫਾਊਂਡਰੀ ਲੋਕਲ ਨਾਲ ਸਥਾਨਕ AI ਡਿਪਲੌਇਮੈਂਟ ਵਿੱਚ ਮਾਹਰ ਬਣੋ, ਪਹਿਲੀ ਚੈਟ ਕਮਪਲੀਸ਼ਨ ਤੋਂ ਲੈ ਕੇ 6 ਤਰੱਕੀਸ਼ੀਲ ਸੈਸ਼ਨਾਂ ਵਿੱਚ ਮਲਟੀ-ਏਜੰਟ ਆਰਕੇਸਟ੍ਰੇਸ਼ਨ ਤੱਕ। --- ## 🎯 ਪਰਿਚਯ **ਐਜAI ਸ਼ੁਰੂਆਤੀ ਲਈ ਵਰਕਸ਼ਾਪ** ਵਿੱਚ ਤੁਹਾਡਾ ਸਵਾਗਤ ਹੈ - ਸਥਾਨਕ ਹਾਰਡਵੇਅਰ 'ਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਚੱਲਣ ਵਾਲੀਆਂ ਬੁੱਧੀਮਾਨ ਐਪਲੀਕੇਸ਼ਨਾਂ ਬਣਾਉਣ ਲਈ ਤੁਹਾਡੀ ਪ੍ਰਯੋਗਾਤਮਕ, ਹੈਂਡਸ-ਆਨ ਗਾਈਡ। ਇਹ ਵਰਕਸ਼ਾਪ ਸਿਧਾਂਤਕ ਐਜ AI ਧਾਰਨਾਵਾਂ ਨੂੰ ਮਾਈਕਰੋਸਾਫਟ ਫਾਊਂਡਰੀ ਲੋਕਲ ਅਤੇ ਸਮਾਲ ਲੈਂਗਵੇਜ ਮਾਡਲ (SLMs) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵਾਸਤਵਿਕ ਦੁਨੀਆ ਦੇ ਹੁਨਰਾਂ ਵਿੱਚ ਬਦਲ ਦਿੰਦੀ ਹੈ। ### ਇਹ ਵਰਕਸ਼ਾਪ ਕਿਉਂ? **ਐਜ AI ਇਨਕਲਾਬ ਆ ਗਿਆ ਹੈ** ਸੰਸਾਰ ਭਰ ਵਿੱਚ ਸੰਗਠਨ ਤਿੰਨ ਮਹੱਤਵਪੂਰਨ ਕਾਰਨਾਂ ਲਈ ਕਲਾਉਡ-ਨਿਰਭਰਤ AI ਤੋਂ ਐਜ ਕੰਪਿਊਟਿੰਗ ਵੱਲ ਬਦਲ ਰਹੇ ਹਨ: 1. **ਪ੍ਰਾਈਵੇਸੀ ਅਤੇ ਕਾਨੂੰਨੀ ਪਾਲਣਾ** - ਸੰਵੇਦਨਸ਼ੀਲ ਡਾਟਾ ਨੂੰ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਪ੍ਰੋਸੈਸ ਕਰੋ ਬਿਨਾਂ ਕਲਾਉਡ ਟ੍ਰਾਂਸਮਿਸ਼ਨ ਦੇ (HIPAA, GDPR, ਵਿੱਤੀ ਨਿਯਮ) 2. **ਪ੍ਰਦਰਸ਼ਨ** - ਨੈਟਵਰਕ ਲੈਟੈਂਸੀ ਨੂੰ ਖਤਮ ਕਰੋ (50-500ms ਸਥਾਨਕ ਵਿਰੁੱਧ 500-2000ms ਕਲਾਉਡ ਰਾਊਂਡ-ਟ੍ਰਿਪ) 3. **ਲਾਗਤ ਕੰਟਰੋਲ** - ਪ੍ਰਤੀ-ਟੋਕਨ API ਲਾਗਤਾਂ ਨੂੰ ਹਟਾਓ ਅਤੇ ਕਲਾਉਡ ਖਰਚਿਆਂ ਤੋਂ ਬਿਨਾਂ ਸਕੇਲ ਕਰੋ **ਪਰ ਐਜ AI ਵੱਖਰਾ ਹੈ** ਸਥਾਨਕ ਤੌਰ 'ਤੇ AI ਚਲਾਉਣ ਲਈ ਨਵੇਂ ਹੁਨਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ: - ਸਰੋਤਾਂ ਦੀਆਂ ਪਾਬੰਦੀਆਂ ਲਈ ਮਾਡਲ ਦੀ ਚੋਣ ਅਤੇ ਅਨੁਕੂਲਤਾ - ਸਥਾਨਕ ਸੇਵਾ ਪ੍ਰਬੰਧਨ ਅਤੇ ਹਾਰਡਵੇਅਰ ਐਕਸਲੇਰੇਸ਼ਨ - ਛੋਟੇ ਮਾਡਲਾਂ ਲਈ ਪ੍ਰੋਮਪਟ ਇੰਜੀਨੀਅਰਿੰਗ - ਐਜ ਡਿਵਾਈਸਾਂ ਲਈ ਪ੍ਰੋਡਕਸ਼ਨ ਡਿਪਲੌਇਮੈਂਟ ਪੈਟਰਨ **ਇਹ ਵਰਕਸ਼ਾਪ ਉਹ ਹੁਨਰ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ** 6 ਕੇਂਦਰੀ ਸੈਸ਼ਨਾਂ (~3 ਘੰਟੇ ਕੁੱਲ) ਵਿੱਚ, ਤੁਸੀਂ "ਹੈਲੋ ਵਰਲਡ" ਤੋਂ ਪ੍ਰੋਡਕਸ਼ਨ-ਤਿਆਰ ਮਲਟੀ-ਏਜੰਟ ਸਿਸਟਮ ਡਿਪਲੌਇਮੈਂਟ ਤੱਕ ਤਰੱਕੀ ਕਰੋਗੇ - ਇਹ ਸਭ ਤੁਹਾਡੇ ਮਸ਼ੀਨ 'ਤੇ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਚੱਲੇਗਾ। --- ## 📚 ਸਿੱਖਣ ਦੇ ਉਦੇਸ਼ ਇਸ ਵਰਕਸ਼ਾਪ ਨੂੰ ਪੂਰਾ ਕਰਨ ਦੁਆਰਾ, ਤੁਸੀਂ ਇਹ ਕਰਨ ਦੇ ਯੋਗ ਹੋਵੋਗੇ: ### ਮੁੱਖ ਕਾਬਲੀਆਂ 1. **ਸਥਾਨਕ AI ਸੇਵਾਵਾਂ ਡਿਪਲੌਇ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਕਰੋ** - ਮਾਈਕਰੋਸਾਫਟ ਫਾਊਂਡਰੀ ਲੋਕਲ ਨੂੰ ਇੰਸਟਾਲ ਅਤੇ ਕਨਫਿਗਰ ਕਰੋ - ਐਜ ਡਿਪਲੌਇਮੈਂਟ ਲਈ ਉਚਿਤ ਮਾਡਲ ਚੁਣੋ - ਮਾਡਲ ਲਾਈਫਸਾਈਕਲ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰੋ (ਡਾਊਨਲੋਡ, ਲੋਡ, ਕੈਸ਼) - ਸਰੋਤ ਦੀ ਵਰਤੋਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਓ 2. **AI-ਚਲਿਤ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਓ** - ਸਥਾਨਕ ਤੌਰ 'ਤੇ OpenAI-ਅਨੁਕੂਲ ਚੈਟ ਕਮਪਲੀਸ਼ਨ ਲਾਗੂ ਕਰੋ - ਸਮਾਲ ਲੈਂਗਵੇਜ ਮਾਡਲਾਂ ਲਈ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਪ੍ਰੋਮਪਟ ਡਿਜ਼ਾਈਨ ਕਰੋ - ਵਧੀਆ UX ਲਈ ਸਟ੍ਰੀਮਿੰਗ ਜਵਾਬਾਂ ਨੂੰ ਸੰਭਾਲੋ - ਸਥਾਨਕ ਮਾਡਲਾਂ ਨੂੰ ਮੌਜੂਦਾ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਇੰਟੀਗਰੇਟ ਕਰੋ 3. **RAG (ਰੀਟਰੀਵਲ ਅਗਮੈਂਟਡ ਜਨਰੇਸ਼ਨ) ਸਿਸਟਮ ਬਣਾਓ** - ਐਮਬੈਡਿੰਗ ਨਾਲ ਸੈਮੈਂਟਿਕ ਖੋਜ ਬਣਾਓ - ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਗਿਆਨ ਵਿੱਚ LLM ਜਵਾਬਾਂ ਨੂੰ ਗ੍ਰਾਊਂਡ ਕਰੋ - ਉਦਯੋਗ-ਮਿਆਰੀ ਮਾਪਦੰਡਾਂ ਨਾਲ RAG ਗੁਣਵੱਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ - ਪ੍ਰੋਟੋਟਾਈਪ ਤੋਂ ਪ੍ਰੋਡਕਸ਼ਨ ਤੱਕ ਸਕੇਲ ਕਰੋ 4. **ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਓ** - ਤੁਹਾਡੇ ਉਪਯੋਗ ਮਾਮਲੇ ਲਈ ਕਈ ਮਾਡਲਾਂ ਦਾ ਬੈਂਚਮਾਰਕ ਕਰੋ - ਲੈਟੈਂਸੀ, ਥਰੂਪੁੱਟ, ਅਤੇ ਪਹਿਲੇ ਟੋਕਨ ਸਮੇਂ ਨੂੰ ਮਾਪੋ - ਗਤੀ/ਗੁਣਵੱਤਾ ਦੇ ਵਪਾਰ-ਬੰਦ 'ਤੇ ਅਧਾਰਿਤ ਉਚਿਤ ਮਾਡਲ ਚੁਣੋ - ਅਸਲ ਸਥਿਤੀਆਂ ਵਿੱਚ SLM ਵਿਰੁੱਧ LLM ਵਪਾਰ-ਬੰਦ ਦੀ ਤੁਲਨਾ ਕਰੋ 5. **ਮਲਟੀ-ਏਜੰਟ ਸਿਸਟਮ ਆਰਕੇਸਟ੍ਰੇਟ ਕਰੋ** - ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਵਿਸ਼ੇਸ਼ ਏਜੰਟ ਡਿਜ਼ਾਈਨ ਕਰੋ - ਏਜੰਟ ਮੈਮੋਰੀ ਅਤੇ ਸੰਦਰਭ ਪ੍ਰਬੰਧਨ ਲਾਗੂ ਕਰੋ - ਜਟਿਲ ਵਰਕਫਲੋਜ਼ ਵਿੱਚ ਏਜੰਟਾਂ ਨੂੰ ਸਮਨਵਿਤ ਕਰੋ - ਕਈ ਮਾਡਲਾਂ ਵਿੱਚ ਬੁੱਧੀਮਾਨੀ ਨਾਲ ਬੇਨਤੀਆਂ ਨੂੰ ਰੂਟ ਕਰੋ 6. **ਪ੍ਰੋਡਕਸ਼ਨ-ਤਿਆਰ ਹੱਲ ਡਿਪਲੌਇ ਕਰੋ** - ਗਲਤੀ ਸੰਭਾਲਣ ਅਤੇ ਰੀਟ੍ਰਾਈ ਲਾਜਿਕ ਲਾਗੂ ਕਰੋ - ਟੋਕਨ ਦੀ ਵਰਤੋਂ ਅਤੇ ਸਿਸਟਮ ਸਰੋਤਾਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ - ਮਾਡਲ-ਜਿਵੇਂ-ਟੂਲ ਪੈਟਰਨ ਨਾਲ ਸਕੇਲਬਲ ਆਰਕੀਟੈਕਚਰ ਬਣਾਓ - ਐਜ ਤੋਂ ਹਾਈਬ੍ਰਿਡ (ਐਜ + ਕਲਾਉਡ) ਤੱਕ ਮਾਈਗ੍ਰੇਸ਼ਨ ਪਾਥ ਦੀ ਯੋਜਨਾ ਬਣਾਓ --- ## 🎓 ਸਿੱਖਣ ਦੇ ਨਤੀਜੇ ### ਤੁਸੀਂ ਕੀ ਬਣਾਓਗੇ ਵਰਕਸ਼ਾਪ ਦੇ ਅੰਤ ਤੱਕ, ਤੁਸੀਂ ਇਹ ਬਣਾਉਣ ਵਿੱਚ ਸਫਲ ਹੋਵੋਗੇ: | ਸੈਸ਼ਨ | ਡਿਲੀਵਰੇਬਲ | ਦਿਖਾਏ ਗਏ ਹੁਨਰ | |---------|-------------|---------------------| | **1** | ਸਟ੍ਰੀਮਿੰਗ ਨਾਲ ਚੈਟ ਐਪਲੀਕੇਸ਼ਨ | ਸੇਵਾ ਸੈਟਅੱਪ, ਬੁਨਿਆਦੀ ਕਮਪਲੀਸ਼ਨ, ਸਟ੍ਰੀਮਿੰਗ UX | | **2** | RAG ਸਿਸਟਮ ਨਾਲ ਮੁਲਾਂਕਣ | ਐਮਬੈਡਿੰਗ, ਸੈਮੈਂਟਿਕ ਖੋਜ, ਗੁਣਵੱਤਾ ਮਾਪਦੰਡ | | **3** | ਮਲਟੀ-ਮਾਡਲ ਬੈਂਚਮਾਰਕ ਸੂਟ | ਪ੍ਰਦਰਸ਼ਨ ਮਾਪ, ਮਾਡਲ ਤੁਲਨਾ | | **4** | SLM ਵਿਰੁੱਧ LLM ਕੰਪੈਰੇਟਰ | ਵਪਾਰ-ਬੰਦ ਵਿਸ਼ਲੇਸ਼ਣ, ਅਨੁਕੂਲਤਾ ਰਣਨੀਤੀਆਂ | | **5** | ਮਲਟੀ-ਏਜੰਟ ਆਰਕੇਸਟਰੇਟਰ | ਏਜੰਟ ਡਿਜ਼ਾਈਨ, ਮੈਮੋਰੀ ਪ੍ਰਬੰਧਨ, ਸਮਨਵਯ | | **6** | ਬੁੱਧੀਮਾਨ ਰੂਟਿੰਗ ਸਿਸਟਮ | ਇਰਾਦਾ ਪਛਾਣ, ਮਾਡਲ ਚੋਣ, ਸਕੇਲਬਿਲਟੀ | ### ਕਾਬਲੀਅਤ ਮੈਟ੍ਰਿਕਸ | ਹੁਨਰ ਪੱਧਰ | ਸੈਸ਼ਨ 1-2 | ਸੈਸ਼ਨ 3-4 | ਸੈਸ਼ਨ 5-6 | |-------------|-------------|-------------|-------------| | **ਸ਼ੁਰੂਆਤੀ** | ✅ ਸੈਟਅੱਪ ਅਤੇ ਬੁਨਿਆਦੀਆਂ | ⚠️ ਚੁਣੌਤੀਪੂਰਨ | ❌ ਬਹੁਤ ਅਗਰ | | **ਮੱਧਮ** | ✅ ਤੇਜ਼ ਸਮੀਖਾ | ✅ ਮੁੱਖ ਸਿੱਖਣ | ⚠️ ਖਿੱਚ ਦੇ ਲਕਸ਼ | | **ਅਗਰ** | ✅ ਆਸਾਨੀ ਨਾਲ | ✅ ਸੁਧਾਰ | ✅ ਪ੍ਰੋਡਕਸ਼ਨ ਪੈਟਰਨ | ### ਕਰੀਅਰ-ਤਿਆਰ ਹੁਨਰ **ਇਸ ਵਰਕਸ਼ਾਪ ਦੇ ਬਾਅਦ, ਤੁਸੀਂ ਤਿਆਰ ਹੋਵੋਗੇ:** ✅ **ਪ੍ਰਾਈਵੇਸੀ-ਪਹਿਲਾਂ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਓ** - ਸਥਾਨਕ ਤੌਰ 'ਤੇ PHI/PII ਸੰਭਾਲਣ ਵਾਲੀਆਂ ਹੈਲਥਕੇਅਰ ਐਪਸ - ਪਾਲਣਾ ਦੀਆਂ ਲੋੜਾਂ ਵਾਲੀਆਂ ਵਿੱਤੀ ਸੇਵਾਵਾਂ - ਡਾਟਾ ਸਾਰਵਭੌਮਤਾ ਦੀਆਂ ਲੋੜਾਂ ਵਾਲੇ ਸਰਕਾਰੀ ਸਿਸਟਮ ✅ **ਐਜ ਵਾਤਾਵਰਣਾਂ ਲਈ ਅਨੁਕੂਲ ਬਣਾਓ** - ਸੀਮਿਤ ਸਰੋਤਾਂ ਵਾਲੇ IoT ਡਿਵਾਈਸ - ਆਫਲਾਈਨ-ਪਹਿਲਾਂ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨ - ਘੱਟ-ਲੈਟੈਂਸੀ ਰੀਅਲ-ਟਾਈਮ ਸਿਸਟਮ ✅ **ਬੁੱਧੀਮਾਨ ਆਰਕੀਟੈਕਚਰ ਡਿਜ਼ਾਈਨ ਕਰੋ** - ਜਟਿਲ ਵਰਕਫਲੋਜ਼ ਲਈ ਮਲਟੀ-ਏਜੰਟ ਸਿਸਟਮ - ਹਾਈਬ੍ਰਿਡ ਐਜ-ਕਲਾਉਡ ਡਿਪਲੌਇਮੈਂਟ - ਲਾਗਤ-ਅਨੁਕੂਲ AI ਢਾਂਚਾ ✅ **ਐਜ AI ਪਹਲਾਂ ਦੀ ਅਗਵਾਈ ਕਰੋ** - ਪ੍ਰੋਜੈਕਟਾਂ ਲਈ ਐਜ AI ਸੰਭਾਵਨਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ - ਉਚਿਤ ਮਾਡਲ ਅਤੇ ਫਰੇਮਵਰਕ ਚੁਣੋ - ਸਕੇਲਬਲ ਸਥਾਨਕ AI ਹੱਲਾਂ ਦੀ ਆਰਕੀਟੈਕਚਰ ਬਣਾਓ --- ## 🗺️ ਵਰਕਸ਼ਾਪ ਦੀ ਬਣਤਰ ### ਸੈਸ਼ਨ ਝਲਕ (6 ਸੈਸ਼ਨ × 30 ਮਿੰਟ = 3 ਘੰਟੇ) | ਸੈਸ਼ਨ | ਵਿਸ਼ਾ | ਫੋਕਸ | ਸਮਾਂ | |---------|-------|-------|----------| | **1** | ਫਾਊਂਡਰੀ ਲੋਕਲ ਨਾਲ ਸ਼ੁਰੂਆਤ | ਇੰਸਟਾਲ, ਵੈਲਿਡੇਟ, ਪਹਿਲੀ ਕਮਪਲੀਸ਼ਨ | 30 ਮਿੰਟ | | **2** | RAG ਨਾਲ AI ਹੱਲ ਬਣਾਉਣਾ | ਪ੍ਰੋਮਪਟ ਇੰਜੀਨੀਅਰਿੰਗ, ਐਮਬੈਡਿੰਗ, ਮੁਲਾਂਕਣ | 30 ਮਿੰਟ | | **3** | ਖੁੱਲ੍ਹੇ ਸਰੋਤ ਮਾਡਲ | ਮਾਡਲ ਖੋਜ, ਬੈਂਚਮਾਰਕਿੰਗ, ਚੋਣ | 30 ਮਿੰਟ | | **4** | ਕਟਿੰਗ ਐਜ ਮਾਡਲ | SLM ਵਿਰੁੱਧ LLM, ਅਨੁਕੂਲਤਾ, ਫਰੇਮਵਰਕ | 30 ਮਿੰਟ | | **5** | AI-ਚਲਿਤ ਏਜੰਟ | ਏਜੰਟ ਡਿਜ਼ਾਈਨ, ਆਰਕੇਸਟ੍ਰੇਸ਼ਨ, ਮੈਮੋਰੀ | 30 ਮਿੰਟ | | **6** | ਮਾਡਲ ਜਿਵੇਂ ਟੂਲ | ਰੂਟਿੰਗ, ਚੇਨਿੰਗ, ਸਕੇਲਿੰਗ ਰਣਨੀਤੀਆਂ | 30 ਮਿੰਟ | --- ## 🚀 ਤੇਜ਼ ਸ਼ੁਰੂਆਤ ### ਪੂਰਵ ਸ਼ਰਤਾਂ **ਸਿਸਟਮ ਲੋੜਾਂ:** - **OS**: Windows 10/11, macOS 11+, ਜਾਂ Linux (Ubuntu 20.04+) - **RAM**: ਘੱਟੋ-ਘੱਟ 8GB, 16GB+ ਸਿਫਾਰਸ਼ੀ - **ਸਟੋਰੇਜ**: ਮਾਡਲਾਂ ਲਈ 10GB+ ਖਾਲੀ ਜਗ੍ਹਾ - **CPU**: AVX2 ਸਹਾਇਕ ਆਧੁਨਿਕ ਪ੍ਰੋਸੈਸਰ - **GPU** (ਵਿਕਲਪਿਕ): CUDA-ਅਨੁਕੂਲ ਜਾਂ Qualcomm NPU ਐਕਸਲੇਰੇਸ਼ਨ ਲਈ **ਸੌਫਟਵੇਅਰ ਲੋੜਾਂ:** - **Python 3.8+** ([ਡਾਊਨਲੋਡ](https://www.python.org/downloads/)) - **Microsoft Foundry Local** ([ਇੰਸਟਾਲੇਸ਼ਨ ਗਾਈਡ](../../../Workshop)) - **Git** ([ਡਾਊਨਲੋਡ](https://git-scm.com/downloads)) - **Visual Studio Code** (ਸਿਫਾਰਸ਼ੀ) ([ਡਾਊਨਲੋਡ](https://code.visualstudio.com/)) ### 3 ਕਦਮਾਂ ਵਿੱਚ ਸੈਟਅੱਪ #### 1. Foundry Local ਇੰਸਟਾਲ ਕਰੋ **Windows:** ```powershell winget install Microsoft.FoundryLocal ``` **macOS:** ```bash brew tap microsoft/foundrylocal brew install foundrylocal ``` **ਇੰਸਟਾਲੇਸ਼ਨ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ:** ```bash foundry --version foundry service status ``` **ਯਕੀਨੀ ਬਣਾਓ ਕਿ Azure AI Foundry Local ਇੱਕ ਫਿਕਸਡ ਪੋਰਟ ਨਾਲ ਚੱਲ ਰਿਹਾ ਹੈ** ```bash # Set FoundryLocal to use port 58123 (default) foundry service set --port 58123 --show # Or use a different port foundry service set --port 58000 --show ``` **ਇਸ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਇਹ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ:** ```bash # Check service status foundry service status # Test the endpoint curl http://127.0.0.1:58123/v1/models ``` **ਉਪਲਬਧ ਮਾਡਲਾਂ ਨੂੰ ਖੋਜਣਾ** ਤੁਹਾਡੇ Foundry Local ਇੰਸਟੈਂਸ ਵਿੱਚ ਕਿਹੜੇ ਮਾਡਲ ਉਪਲਬਧ ਹਨ, ਇਹ ਦੇਖਣ ਲਈ ਤੁਸੀਂ ਮਾਡਲ ਐਂਡਪੌਇੰਟ ਨੂੰ ਪੁੱਛ ਸਕਦੇ ਹੋ: ```bash # cmd/bash/powershell foundry model list ``` ਵੈੱਬ ਐਂਡਪੌਇੰਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ```bash # Windows PowerShell powershell -Command "Invoke-RestMethod -Uri 'http://127.0.0.1:58123/v1/models' -Method Get" # Or using curl (if available) curl http://127.0.0.1:58123/v1/models ``` #### 2. ਰਿਪੋਜ਼ਟਰੀ ਕਲੋਨ ਕਰੋ ਅਤੇ ਡਿਪੈਂਡੈਂਸੀਜ਼ ਇੰਸਟਾਲ ਕਰੋ ```bash # Clone repository git clone https://github.com/microsoft/edgeai-for-beginners.git cd edgeai-for-beginners/Workshop # Create virtual environment python -m venv .venv # Activate virtual environment # Windows: .\.venv\Scripts\activate # macOS/Linux: source .venv/bin/activate # Install dependencies pip install -r requirements.txt ``` #### 3. ਆਪਣਾ ਪਹਿਲਾ ਸੈਂਪਲ ਚਲਾਓ ```bash # Start Foundry Local and load a model foundry model run phi-4-mini # Run the chat bootstrap sample cd samples python -m session01.chat_bootstrap "What is edge AI?" ``` **✅ ਸਫਲਤਾ!** ਤੁਹਾਨੂੰ ਐਜ AI ਬਾਰੇ ਸਟ੍ਰੀਮਿੰਗ ਜਵਾਬ ਦੇਖਣਾ ਚਾਹੀਦਾ ਹੈ। --- ## 📦 ਵਰਕਸ਼ਾਪ ਸਰੋਤ ### Python ਸੈਂਪਲ ਹਰ ਧਾਰਨਾ ਨੂੰ ਦਰਸਾਉਣ ਵਾਲੇ ਤਰੱਕੀਸ਼ੀਲ ਹੈਂਡਸ-ਆਨ ਉਦਾਹਰਨ: | ਸੈਸ਼ਨ | ਸੈਂਪਲ | ਵੇਰਵਾ | ਚਲਾਉਣ ਦਾ ਸਮਾਂ | |---------|--------|-------------|----------| | 1 | [`chat_bootstrap.py`](../../../Workshop/samples/session01/chat_bootstrap.py) | ਬੁਨਿਆਦੀ ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ ਚੈਟ | ~30ਸ | | 2 | [`rag_pipeline.py`](../../../Workshop/samples/session02/rag_pipeline.py) | RAG ਨਾਲ ਐਮਬੈਡਿੰਗ | ~45ਸ | | 2 | [`rag_eval_ragas.py`](../../../Workshop/samples/session02/rag_eval_ragas.py) | RAG ਗੁਣਵੱਤਾ ਮੁਲਾਂਕਣ | ~60ਸ | | 3 | [`benchmark_oss_models.py`](../../../Workshop/samples/session03/benchmark_oss_models.py) | ਮਲਟੀ-ਮਾਡਲ ਬੈਂਚਮਾਰਕਿੰਗ | ~2-3ਮ | | 4 | [`model_compare.py`](../../../Workshop/samples/session04/model_compare.py) | SLM ਵਿਰੁੱਧ LLM ਤੁਲਨਾ | ~45ਸ | | 5 | [`agents_orchestrator.py`](../../../Workshop/samples/session05/agents_orchestrator.py) | ਮਲਟੀ-ਏਜੰਟ ਸਿਸਟਮ | ~60ਸ | | 6 | [`models_router.py`](../../../Workshop/samples/session06/models_router.py) | ਇਰਾਦਾ-ਅਧਾਰਿਤ ਰੂਟਿੰਗ | ~45ਸ | | 6 | [`models_pipeline.py`](../../../Workshop/samples/session06/models_pipeline.py) | ਮਲਟੀ-ਸਟੈਪ ਪਾਈਪਲਾਈਨ | ~60ਸ | ### Jupyter ਨੋਟਬੁੱਕ ਵਿਆਖਿਆ ਅਤੇ ਵਿਜ਼ੁਅਲਾਈਜ਼ੇਸ਼ਨ ਨਾਲ ਇੰਟਰੈਕਟਿਵ ਪੜਤਾਲ: | ਸੈਸ਼ਨ | ਨੋਟਬੁੱਕ | ਵੇਰਵਾ | ਮੁਸ਼ਕਲ | |---------|----------|-------------|------------| | 1 | [`session01_chat_bootstrap.ipynb`](./notebooks/session01_chat_bootstrap.ipynb) | ਚੈਟ ਬੁਨਿਆਦੀਆਂ ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ | ⭐ ਸ਼ੁਰੂਆ | 6 | [Session06-ModelsAsTools](./Session06-ModelsAsTools.md) | ਰੂਟਿੰਗ, ਚੇਨਿੰਗ, ਐਜ਼ਰ ਲਈ ਸਕੇਲਿੰਗ ਪਾਥ | ਹਰ ਸੈਸ਼ਨ ਫਾਈਲ ਵਿੱਚ ਸ਼ਾਮਲ ਹੈ: ਸੰਖੇਪ, ਸਿੱਖਣ ਦੇ ਉਦੇਸ਼, 30‑ਮਿੰਟ ਡੈਮੋ ਫਲੋ, ਸਟਾਰਟਰ ਪ੍ਰੋਜੈਕਟ, ਵੈਲੀਡੇਸ਼ਨ ਚੈੱਕਲਿਸਟ, ਟਰਬਲਸ਼ੂਟਿੰਗ, ਅਤੇ Foundry Local Python SDK ਦੇ ਅਧਿਕਾਰਤ ਹਵਾਲੇ। ### ਸੈਂਪਲ ਸਕ੍ਰਿਪਟਸ ਵਰਕਸ਼ਾਪ ਡਿਪੈਂਡੈਂਸੀਜ਼ ਇੰਸਟਾਲ ਕਰੋ (Windows): ```powershell cd Workshop py -m venv .venv .\.venv\Scripts\activate pip install -r requirements.txt ``` macOS / Linux: ```bash cd Workshop python3 -m venv .venv source .venv/bin/activate pip install -r requirements.txt ``` ਜੇਕਰ Foundry Local ਸੇਵਾ ਨੂੰ macOS ਤੋਂ ਵੱਖਰੇ (Windows) ਮਸ਼ੀਨ ਜਾਂ VM 'ਤੇ ਚਲਾਇਆ ਜਾ ਰਿਹਾ ਹੈ, ਤਾਂ ਐਂਡਪੌਇੰਟ ਐਕਸਪੋਰਟ ਕਰੋ: ```bash export FOUNDRY_LOCAL_ENDPOINT=http://:5273/v1 ``` | ਸੈਸ਼ਨ | ਸਕ੍ਰਿਪਟ(ਸ) | ਵੇਰਵਾ | |---------|-----------|-------------| | 1 | `samples/session01/chat_bootstrap.py` | ਬੂਟਸਟਰੈਪ ਸੇਵਾ ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ ਚੈਟ | | 2 | `samples/session02/rag_pipeline.py` | ਘੱਟੋ-ਘੱਟ RAG (ਇਨ-ਮੇਮਰੀ ਐਮਬੈਡਿੰਗ) | | | `samples/session02/rag_eval_ragas.py` | RAG ਮੁਲਾਂਕਣ ਰਾਗਸ ਮੈਟ੍ਰਿਕਸ ਨਾਲ | | 3 | `samples/session03/benchmark_oss_models.py` | ਮਲਟੀ-ਮਾਡਲ ਲੈਟੈਂਸੀ ਅਤੇ ਥਰੂਪੁੱਟ ਬੈਂਚਮਾਰਕਿੰਗ | | 4 | `samples/session04/model_compare.py` | SLM ਵਿਰੁੱਧ LLM ਤੁਲਨਾ (ਲੈਟੈਂਸੀ ਅਤੇ ਸੈਂਪਲ ਆਉਟਪੁੱਟ) | | 5 | `samples/session05/agents_orchestrator.py` | ਦੋ-ਏਜੰਟ ਰਿਸਰਚ → ਐਡੀਟੋਰੀਅਲ ਪਾਈਪਲਾਈਨ | | 6 | `samples/session06/models_router.py` | ਇੰਟੈਂਟ-ਅਧਾਰਿਤ ਰੂਟਿੰਗ ਡੈਮੋ | | | `samples/session06/models_pipeline.py` | ਮਲਟੀ-ਸਟੈਪ ਯੋਜਨਾ/ਅਮਲ/ਸੁਧਾਰ ਚੇਨ | ### ਵਾਤਾਵਰਣ ਵੈਰੀਏਬਲ (ਸੈਂਪਲਾਂ ਵਿੱਚ ਸਾਂਝੇ) | ਵੈਰੀਏਬਲ | ਉਦੇਸ਼ | ਉਦਾਹਰਨ | |----------|---------|---------| | `FOUNDRY_LOCAL_ALIAS` | ਬੁਨਿਆਦੀ ਸੈਂਪਲਾਂ ਲਈ ਡਿਫਾਲਟ ਸਿੰਗਲ ਮਾਡਲ ਅਲਿਆਸ | `phi-4-mini` | | `SLM_ALIAS` / `LLM_ALIAS` | SLM ਵਿਰੁੱਧ ਵੱਡੇ ਮਾਡਲ ਲਈ ਸਪਸ਼ਟ | `phi-4-mini` / `gpt-oss-20b` | | `BENCH_MODELS` | ਬੈਂਚਮਾਰਕ ਕਰਨ ਲਈ ਅਲਿਆਸ ਦੀ ਕਾਮਾ ਸੂਚੀ | `qwen2.5-0.5b,mistral-7b` | | `BENCH_ROUNDS` | ਪ੍ਰਤੀ ਮਾਡਲ ਬੈਂਚਮਾਰਕ ਦੁਹਰਾਈਆਂ | `3` | | `BENCH_PROMPT` | ਬੈਂਚਮਾਰਕਿੰਗ ਵਿੱਚ ਵਰਤਿਆ ਗਿਆ ਪ੍ਰੋੰਪਟ | `Explain retrieval augmented generation briefly.` | | `EMBED_MODEL` | ਸੈਂਟੈਂਸ-ਟ੍ਰਾਂਸਫਾਰਮਰ ਐਮਬੈਡਿੰਗ ਮਾਡਲ | `sentence-transformers/all-MiniLM-L6-v2` | | `RAG_QUESTION` | RAG ਪਾਈਪਲਾਈਨ ਲਈ ਟੈਸਟ ਪ੍ਰਸ਼ਨ ਨੂੰ ਓਵਰਰਾਈਡ ਕਰੋ | `Why use RAG with local inference?` | | `AGENT_QUESTION` | ਏਜੰਟ ਪਾਈਪਲਾਈਨ ਪ੍ਰਸ਼ਨ ਨੂੰ ਓਵਰਰਾਈਡ ਕਰੋ | `Explain why edge AI matters for compliance.` | | `AGENT_MODEL_PRIMARY` | ਰਿਸਰਚ ਏਜੰਟ ਲਈ ਮਾਡਲ ਅਲਿਆਸ | `phi-4-mini` | | `AGENT_MODEL_EDITOR` | ਐਡੀਟਰ ਏਜੰਟ ਲਈ ਮਾਡਲ ਅਲਿਆਸ (ਵੱਖਰਾ ਹੋ ਸਕਦਾ ਹੈ) | `gpt-oss-20b` | | `SHOW_USAGE` | ਜਦੋਂ `1`, ਪ੍ਰਤੀ ਪੂਰਨਤਾ ਟੋਕਨ ਵਰਤੋਂ ਪ੍ਰਿੰਟ ਕਰਦਾ ਹੈ | `1` | | `RETRY_ON_FAIL` | ਜਦੋਂ `1`, ਅਸਥਾਈ ਚੈਟ ਗਲਤੀਆਂ 'ਤੇ ਇੱਕ ਵਾਰ ਮੁੜ ਕੋਸ਼ਿਸ਼ ਕਰੋ | `1` | | `RETRY_BACKOFF` | ਮੁੜ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਉਡੀਕ ਕਰਨ ਲਈ ਸਕਿੰਟ | `1.0` | ਜੇਕਰ ਕੋਈ ਵੈਰੀਏਬਲ ਸੈਟ ਨਹੀਂ ਹੈ, ਤਾਂ ਸਕ੍ਰਿਪਟਸ ਸਮਝਦਾਰ ਡਿਫਾਲਟ 'ਤੇ ਵਾਪਸ ਆ ਜਾਂਦੇ ਹਨ। ਸਿੰਗਲ-ਮਾਡਲ ਡੈਮੋਜ਼ ਲਈ ਤੁਹਾਨੂੰ ਆਮ ਤੌਰ 'ਤੇ ਸਿਰਫ `FOUNDRY_LOCAL_ALIAS` ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ### ਯੂਟਿਲਿਟੀ ਮੋਡਿਊਲ ਸਾਰੇ ਸੈਂਪਲ ਹੁਣ ਇੱਕ ਹੈਲਪਰ `samples/workshop_utils.py` ਸਾਂਝਾ ਕਰਦੇ ਹਨ ਜੋ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ: * Cached `FoundryLocalManager` + OpenAI ਕਲਾਇੰਟ ਬਣਾਉਣ * `chat_once()` ਹੈਲਪਰ ਰੀਟ੍ਰਾਈ + ਵਰਤੋਂ ਪ੍ਰਿੰਟਿੰਗ ਦੇ ਵਿਕਲਪ ਨਾਲ * ਸਧਾਰਨ ਟੋਕਨ ਵਰਤੋਂ ਰਿਪੋਰਟਿੰਗ (ਇਸ ਨੂੰ `SHOW_USAGE=1` ਰਾਹੀਂ ਐਨਬਲ ਕਰੋ) ਇਹ ਨਕਲ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਅਤੇ ਕੁਸ਼ਲ ਸਥਾਨਕ ਮਾਡਲ ਆਰਕੇਸਟ੍ਰੇਸ਼ਨ ਲਈ ਵਧੀਆ ਅਭਿਆਸਾਂ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ। ## ਵਿਕਲਪਿਕ ਸੁਧਾਰ (ਕ੍ਰਾਸ-ਸੈਸ਼ਨ) | ਥੀਮ | ਸੁਧਾਰ | ਸੈਸ਼ਨ | Env / Toggle | |-------|-------------|----------|--------------| | ਨਿਰਧਾਰਤਾ | ਫਿਕਸਡ ਟੈਂਪਰੇਚਰ + ਸਥਿਰ ਪ੍ਰੋੰਪਟ ਸੈੱਟ | 1–6 | `temperature=0`, `top_p=1` ਸੈਟ ਕਰੋ | | ਟੋਕਨ ਵਰਤੋਂ ਦ੍ਰਿਸ਼ਤਾ | ਲਾਗਤ/ਕੁਸ਼ਲਤਾ ਸਿਖਲਾਈ | 1–6 | `SHOW_USAGE=1` | | ਸਟ੍ਰੀਮਿੰਗ ਪਹਿਲਾ ਟੋਕਨ | ਲੈਟੈਂਸੀ ਮੈਟ੍ਰਿਕ | 1,3,4,6 | `BENCH_STREAM=1` (ਬੈਂਚਮਾਰਕ) | | ਰੀਟ੍ਰਾਈ ਰੈਜ਼ੀਲੀਅੰਸ | ਅਸਥਾਈ ਠੰਡੇ ਸ਼ੁਰੂਆਤ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ | ਸਾਰੇ | `RETRY_ON_FAIL=1` + `RETRY_BACKOFF` | | ਮਲਟੀ-ਮਾਡਲ ਏਜੰਟ | ਹੇਟਰੋਜੀਨੀਅਸ ਰੋਲ ਸਪੈਸ਼ਲਾਈਜ਼ੇਸ਼ਨ | 5 | `AGENT_MODEL_PRIMARY`, `AGENT_MODEL_EDITOR` | | ਅਡਾਪਟਿਵ ਰੂਟਿੰਗ | ਇੰਟੈਂਟ + ਲਾਗਤ ਹਿਊਰਿਸਟਿਕਸ | 6 | ਰੂਟਰ ਨੂੰ ਐਸਕਲੇਸ਼ਨ ਲਾਜਿਕ ਨਾਲ ਵਧਾਓ | | ਵੈਕਟਰ ਮੈਮਰੀ | ਲੰਬੇ ਸਮੇਂ ਦੀ ਸੈਮੈਂਟਿਕ ਰੀਕਾਲ | 2,5,6 | FAISS/Chroma ਐਮਬੈਡਿੰਗ ਇੰਡੈਕਸ ਨੂੰ ਇੰਟੀਗਰੇਟ ਕਰੋ | | ਟ੍ਰੇਸ ਐਕਸਪੋਰਟ | ਆਡਿਟਿੰਗ ਅਤੇ ਮੁਲਾਂਕਣ | 2,5,6 | ਹਰ ਕਦਮ 'ਤੇ JSON ਲਾਈਨਾਂ ਸ਼ਾਮਲ ਕਰੋ | | ਕੁਆਲਿਟੀ ਰੂਬ੍ਰਿਕਸ | ਗੁਣਾਤਮਕ ਟ੍ਰੈਕਿੰਗ | 3–6 | ਸੈਕੰਡਰੀ ਸਕੋਰਿੰਗ ਪ੍ਰੋੰਪਟ | | ਸਮੋਕ ਟੈਸਟ | ਵਰਕਸ਼ਾਪ ਤੋਂ ਪਹਿਲਾਂ ਦੀ ਤੇਜ਼ ਜਾਂਚ | ਸਾਰੇ | `python Workshop/tests/smoke.py` | ### ਨਿਰਧਾਰਤ ਤੇਜ਼ ਸ਼ੁਰੂਆਤ ```powershell set FOUNDRY_LOCAL_ALIAS=phi-4-mini set SHOW_USAGE=1 python Workshop\tests\smoke.py ``` ਇਕਸਾਰ ਟੋਕਨ ਗਿਣਤੀ ਦੀ ਉਮੀਦ ਕਰੋ ਦੁਹਰਾਏ ਗਏ ਇੱਕੋ ਜਿਹੇ ਇਨਪੁਟਸ 'ਤੇ। ### RAG ਮੁਲਾਂਕਣ (ਸੈਸ਼ਨ 2) `rag_eval_ragas.py` ਵਰਤੋ ਜਵਾਬ ਦੀ ਸਬੰਧਤਾ, ਸੱਚਾਈ, ਅਤੇ ਸੰਦਰਭ ਸਹੀਤਾ ਨੂੰ ਇੱਕ ਛੋਟੇ ਸਿੰਥੈਟਿਕ ਡੇਟਾਸੈਟ 'ਤੇ ਗਿਣਨ ਲਈ: ```powershell cd Workshop/samples python -m session02.rag_eval_ragas ``` ਇੱਕ ਵੱਡੇ JSONL ਪ੍ਰਸ਼ਨਾਂ, ਸੰਦਰਭਾਂ, ਅਤੇ ਗਰਾਊਂਡ ਸੱਚਾਈਆਂ ਦੀ ਸਪਲਾਈ ਕਰਕੇ ਵਧਾਓ, ਫਿਰ ਇਸਨੂੰ Hugging Face `Dataset` ਵਿੱਚ ਰੂਪਾਂਤਰਿਤ ਕਰੋ। ## CLI ਕਮਾਂਡ ਸਹੀਤਾ ਐਪੈਂਡਿਕਸ ਵਰਕਸ਼ਾਪ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਸਿਰਫ ਮੌਜੂਦਾ ਦਸਤਾਵੇਜ਼/ਸਥਿਰ Foundry Local CLI ਕਮਾਂਡਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ### ਸਥਿਰ ਕਮਾਂਡਾਂ ਦਾ ਹਵਾਲਾ | ਸ਼੍ਰੇਣੀ | ਕਮਾਂਡ | ਉਦੇਸ਼ | |----------|---------|---------| | ਕੋਰ | `foundry --version` | ਇੰਸਟਾਲ ਕੀਤੀ ਵਰਜਨ ਦਿਖਾਓ | | ਸੇਵਾ | `foundry service start` | ਸਥਾਨਕ ਸੇਵਾ ਸ਼ੁਰੂ ਕਰੋ (ਜੇਕਰ ਆਟੋ ਨਹੀਂ) | | ਸੇਵਾ | `foundry service status` | ਸੇਵਾ ਦੀ ਸਥਿਤੀ ਦਿਖਾਓ | | ਮਾਡਲ | `foundry model list` | ਕੈਟਾਲੌਗ / ਉਪਲਬਧ ਮਾਡਲਾਂ ਦੀ ਸੂਚੀ | | ਮਾਡਲ | `foundry model download ` | ਮਾਡਲ ਵਜ਼ਨ ਕੈਸ਼ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰੋ | | ਮਾਡਲ | `foundry model run ` | ਇੱਕ ਮਾਡਲ ਨੂੰ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਚਲਾਓ; ਇੱਕ-ਸ਼ਾਟ ਲਈ `--prompt` ਨਾਲ ਜੋੜੋ | | ਮਾਡਲ | `foundry model unload ` / `foundry model stop ` | ਮਾਡਲ ਨੂੰ ਮੈਮਰੀ ਤੋਂ ਅਨਲੋਡ ਕਰੋ (ਜੇਕਰ ਸਹਾਇਕ ਹੈ) | | ਕੈਸ਼ | `foundry cache list` | ਕੈਸ਼ ਕੀਤੇ (ਡਾਊਨਲੋਡ ਕੀਤੇ) ਮਾਡਲਾਂ ਦੀ ਸੂਚੀ | ### ਇੱਕ-ਸ਼ਾਟ ਪ੍ਰੋੰਪਟ ਪੈਟਰਨ ਪੁਰਾਣੇ `model chat` ਸਬਕਮਾਂਡ ਦੀ ਬਜਾਏ, ਵਰਤੋ: ```powershell foundry model run --prompt "Your question here" ``` ਇਹ ਇੱਕ ਸਿੰਗਲ ਪ੍ਰੋੰਪਟ/ਰਿਸਪਾਂਸ ਸਾਈਕਲ ਨੂੰ ਅੰਜਾਮ ਦਿੰਦਾ ਹੈ ਫਿਰ ਬਾਹਰ ਨਿਕਲਦਾ ਹੈ। ### ਹਟਾਏ ਗਏ / ਬਚਾਏ ਪੈਟਰਨ | ਪੁਰਾਣੇ / ਅਣਦਸਤਾਵੇਜ਼ | ਬਦਲਾਅ / ਮਾਰਗਦਰਸ਼ਨ | |---------------------------|------------------------| | `foundry model chat "..."` | `foundry model run --prompt "..."` | | `foundry model list --running` | ਸਧਾਰਨ `foundry model list` + ਹਾਲੀਆ ਗਤੀਵਿਧੀ / ਲੌਗ | | `foundry model list --cached` | `foundry cache list` | | `foundry model stats ` | ਬੈਂਚਮਾਰਕ ਪਾਈਥਨ ਸਕ੍ਰਿਪਟ + OS ਟੂਲ (ਟਾਸਕ ਮੈਨੇਜਰ / `nvidia-smi`) | | `foundry model benchmark ...` | `samples/session03/benchmark_oss_models.py` | ### ਬੈਂਚਮਾਰਕਿੰਗ ਅਤੇ ਟੈਲੀਮੈਟਰੀ - ਲੈਟੈਂਸੀ, p95, ਟੋਕਨ/ਸੈਕੰਡ: `samples/session03/benchmark_oss_models.py` - ਪਹਿਲਾ-ਟੋਕਨ ਲੈਟੈਂਸੀ (ਸਟ੍ਰੀਮਿੰਗ): `BENCH_STREAM=1` ਸੈਟ ਕਰੋ - ਸਰੋਤ ਵਰਤੋਂ: OS ਮਾਨੀਟਰ (ਟਾਸਕ ਮੈਨੇਜਰ, ਐਕਟਿਵਿਟੀ ਮਾਨੀਟਰ, `nvidia-smi`)। ਜਿਵੇਂ ਨਵੇਂ CLI ਟੈਲੀਮੈਟਰੀ ਕਮਾਂਡ ਉਪਰ ਸਥਿਰ ਹੁੰਦੇ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਸੈਸ਼ਨ ਮਾਰਕਡਾਊਨ ਵਿੱਚ ਘੱਟੋ-ਘੱਟ ਸੋਧਾਂ ਨਾਲ ਸ਼ਾਮਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ### ਆਟੋਮੈਟਿਕ ਲਿੰਟ ਗਾਰਡ ਇੱਕ ਆਟੋਮੈਟਿਕ ਲਿੰਟਰ ਪੁਰਾਣੇ CLI ਪੈਟਰਨਾਂ ਨੂੰ ਮਾਰਕਡਾਊਨ ਫਾਈਲਾਂ ਦੇ fenced ਕੋਡ ਬਲਾਕਾਂ ਵਿੱਚ ਮੁੜ ਸ਼ਾਮਲ ਕਰਨ ਤੋਂ ਰੋਕਦਾ ਹੈ: ਸਕ੍ਰਿਪਟ: `Workshop/scripts/lint_markdown_cli.py` ਪੁਰਾਣੇ ਪੈਟਰਨਾਂ ਨੂੰ ਕੋਡ ਫੈਂਸਾਂ ਦੇ ਅੰਦਰ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ। ਸੁਝਾਏ ਬਦਲਾਅ: | ਪੁਰਾਣੇ | ਬਦਲਾਅ | |------------|-------------| | `foundry model chat "..."` | `foundry model run --prompt "..."` | | `model list --running` | `model list` | | `model list --cached` | `cache list` | | `model stats` | ਬੈਂਚਮਾਰਕ ਸਕ੍ਰਿਪਟ + ਸਿਸਟਮ ਟੂਲ | | `model benchmark` | `samples/session03/benchmark_oss_models.py` | | `model list --available` | `model list` | ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਚਲਾਓ: ```powershell python Workshop\scripts\lint_markdown_cli.py --verbose ``` GitHub ਐਕਸ਼ਨ: `.github/workflows/markdown-cli-lint.yml` ਹਰ ਪੁਸ਼ ਅਤੇ PR 'ਤੇ ਚਲਦਾ ਹੈ। ਵਿਕਲਪਿਕ ਪ੍ਰੀ-ਕਮਿਟ ਹੂਕ: ```bash echo "python Workshop/scripts/lint_markdown_cli.py" > .git/hooks/pre-commit chmod +x .git/hooks/pre-commit ``` ## ਤੇਜ਼ CLI → SDK ਮਾਈਗ੍ਰੇਸ਼ਨ ਟੇਬਲ | ਕੰਮ | CLI ਇੱਕ-ਲਾਈਨਰ | SDK (Python) ਸਮਕਾਲੀ | ਨੋਟਸ | |------|---------------|-------------------------|-------| | ਇੱਕ ਵਾਰ ਮਾਡਲ ਚਲਾਓ (ਪ੍ਰੋੰਪਟ) | `foundry model run phi-4-mini --prompt "Hello"` | `manager=FoundryLocalManager("phi-4-mini"); client=OpenAI(base_url=manager.endpoint, api_key=manager.api_key or "not-needed"); client.chat.completions.create(model=manager.get_model_info("phi-4-mini").id, messages=[{"role":"user","content":"Hello"}])` | SDK ਸੇਵਾ ਅਤੇ ਕੈਸ਼ਿੰਗ ਨੂੰ ਆਟੋਮੈਟਿਕ ਤੌਰ 'ਤੇ ਬੂਟਸਟਰੈਪ ਕਰਦਾ ਹੈ | | ਮਾਡਲ ਡਾਊਨਲੋਡ (ਕੈਸ਼) | `foundry model download qwen2.5-0.5b` | `FoundryLocalManager("qwen2.5-0.5b") # triggers download/load` | ਮੈਨੇਜਰ ਵਧੀਆ ਵੈਰੀਐਂਟ ਚੁਣਦਾ ਹੈ ਜੇਕਰ ਅਲਿਆਸ ਕਈ ਬਿਲਡਾਂ ਨਾਲ ਮੈਪ ਕਰਦਾ ਹੈ | | ਕੈਟਾਲੌਗ ਦੀ ਸੂਚੀ | `foundry model list` | `# use manager for each alias or maintain known list` | CLI ਇਕੱਠਾ ਕਰਦਾ ਹੈ; SDK ਵਰਤਮਾਨ ਵਿੱਚ ਪ੍ਰਤੀ-ਅਲਿਆਸ ਇੰਸਟੈਂਸ਼ਨ | | ਕੈਸ਼ ਕੀਤੇ ਮਾਡਲਾਂ ਦੀ ਸੂਚੀ | `foundry cache list` | `manager.list_cached_models()` | ਮੈਨੇਜਰ ਇਨਿਸ਼ੀਏਟ ਕਰਨ ਤੋਂ ਬਾਅਦ (ਕੋਈ ਵੀ ਅਲਿਆਸ) | | ਐਂਡਪੌਇੰਟ URL ਪ੍ਰਾਪਤ ਕਰੋ | (ਅਸਪਸ਼ਟ) | `manager.endpoint` | OpenAI-ਅਨੁਕੂਲ ਕਲਾਇੰਟ ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ | | ਮਾਡਲ ਨੂੰ ਗਰਮ ਕਰੋ | `foundry model run ` ਫਿਰ ਪਹਿਲਾ ਪ੍ਰੋੰਪਟ | `chat_once(alias, messages=[...])` (ਯੂਟਿਲਿਟੀ) | ਯੂਟਿਲਿਟੀਜ਼ ਸ਼ੁਰੂਆਤੀ ਠੰਡੇ ਲੈਟੈਂਸੀ ਵਾਰਮਅਪ ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ | | ਲੈਟੈਂਸੀ ਮਾਪੋ | `python -m session03.benchmark_oss_models` | `import benchmark_oss_models` (ਜਾਂ ਨਵਾਂ ਐਕਸਪੋਰਟਰ ਸਕ੍ਰਿਪਟ) | ਸਥਿਰ ਮੈਟ੍ਰਿਕਸ ਲਈ ਸਕ੍ਰਿਪਟ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦੇ ਹਨ | | ਮਾਡਲ ਨੂੰ ਰੋਕੋ / ਅਨਲੋਡ ਕਰੋ | `foundry model unload ` | (ਪ੍ਰਦਰਸ਼ਿਤ ਨਹੀਂ – ਸੇਵਾ / ਪ੍ਰੋਸੈਸ ਨੂੰ ਮੁੜ ਸ਼ੁਰੂ ਕਰੋ) | ਵਰਕਸ਼ਾਪ ਫਲੋ ਲਈ ਆਮ ਤੌਰ 'ਤੇ ਲੋੜੀਂਦਾ ਨਹੀਂ | | ਟੋਕਨ ਵਰਤੋਂ ਪ੍ਰਾਪਤ ਕਰੋ | (ਆਉਟਪੁੱਟ ਵੇਖੋ) | `resp.usage.total_tokens` | ਜੇਕਰ ਬੈਕਐਂਡ ਵਰਤੋਂ ਵਸਤੂ ਨੂੰ ਵਾਪਸ ਕਰਦਾ ਹੈ | ## ਬੈਂਚਮਾਰਕ ਮਾਰਕਡਾਊਨ ਐਕਸਪੋਰਟ ਸਕ੍ਰਿਪਟ `Workshop/scripts/export_benchmark_markdown.py` ਵਰਤੋ ਇੱਕ ਤਾਜ਼ਾ ਬ --- **ਅਸਵੀਕਰਤਾ**: ਇਹ ਦਸਤਾਵੇਜ਼ AI ਅਨੁਵਾਦ ਸੇਵਾ [Co-op Translator](https://github.com/Azure/co-op-translator) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ। ਹਾਲਾਂਕਿ ਅਸੀਂ ਸਹੀ ਹੋਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਦਿਓ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸੁੱਤੀਆਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਇਸਦੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਤ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਅਨੁਵਾਦ ਦੀ ਵਰਤੋਂ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਅਸੀਂ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ।