# Sesija 6 Primjer: Modeli kao alati Ovaj primjer implementira minimalni router + registar alata koji odabire model na temelju korisničkog upita i poziva OpenAI-kompatibilnu krajnju točku Foundry Local-a. ## Datoteke - `router.py`: jednostavan registar i heurističko usmjeravanje; otkrivanje krajnje točke + provjera zdravlja. ## Pokretanje (cmd.exe) ```cmd cd Module08 .\.venv\Scripts\activate REM Start whatever models you plan to route to foundry model run phi-4-mini foundry model run qwen2.5-7b foundry model run deepseek-r1-7b python samples\06\router.py "Explain how local-first AI improves privacy in two sentences." ``` ## Napomene - Router koristi jednostavne heuristike ključnih riječi za odabir između alata `general`, `reasoning` i `code` te ispisuje `/v1/models` pri pokretanju. - Konfiguracija putem varijabli okruženja: ```cmd set BASE_URL=http://localhost:8000 set API_KEY= REM Override models per tool set GENERAL_MODEL=phi-4-mini set REASONING_MODEL=deepseek-r1-7b set CODE_MODEL=qwen2.5-7b REM Or provide a full JSON registry set TOOL_REGISTRY={"general":{"model":"phi-4-mini"},"reasoning":{"model":"deepseek-r1-7b"},"code":{"model":"qwen2.5-7b"}} ``` ## Reference - Foundry Local (Learn): https://learn.microsoft.com/azure/ai-foundry/foundry-local/ - Integracija s SDK-ovima za inferenciju: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks --- **Izjava o odricanju odgovornosti**: Ovaj dokument je preveden pomoću AI usluge za prevođenje [Co-op Translator](https://github.com/Azure/co-op-translator). Iako nastojimo osigurati točnost, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba smatrati autoritativnim izvorom. Za ključne informacije preporučuje se profesionalni prijevod od strane ljudskog prevoditelja. Ne preuzimamo odgovornost za nesporazume ili pogrešne interpretacije koje mogu proizaći iz korištenja ovog prijevoda.