# Session 6 Ukážka: Modely ako nástroje Táto ukážka implementuje minimálny router + registráciu nástrojov, ktorý vyberá model na základe používateľského zadania a volá OpenAI-kompatibilný endpoint Foundry Local. ## Súbory - `router.py`: jednoduchá registrácia a heuristické smerovanie; objavovanie endpointov + kontrola stavu. ## Spustenie (cmd.exe) ```cmd cd Module08 .\.venv\Scripts\activate REM Start whatever models you plan to route to foundry model run phi-4-mini foundry model run qwen2.5-7b foundry model run deepseek-r1-7b python samples\06\router.py "Explain how local-first AI improves privacy in two sentences." ``` ## Poznámky - Router používa jednoduché heuristiky na základe kľúčových slov na výber medzi nástrojmi `general`, `reasoning` a `code` a pri štarte vypisuje `/v1/models`. - Konfigurácia prostredníctvom environmentálnych premenných: ```cmd set BASE_URL=http://localhost:8000 set API_KEY= REM Override models per tool set GENERAL_MODEL=phi-4-mini set REASONING_MODEL=deepseek-r1-7b set CODE_MODEL=qwen2.5-7b REM Or provide a full JSON registry set TOOL_REGISTRY={"general":{"model":"phi-4-mini"},"reasoning":{"model":"deepseek-r1-7b"},"code":{"model":"qwen2.5-7b"}} ``` ## Referencie - Foundry Local (Learn): https://learn.microsoft.com/azure/ai-foundry/foundry-local/ - Integrácia s SDK pre inferenciu: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks --- **Upozornenie**: Tento dokument bol preložený pomocou služby AI prekladu [Co-op Translator](https://github.com/Azure/co-op-translator). Hoci sa snažíme o presnosť, prosím, berte na vedomie, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nenesieme zodpovednosť za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.