# Sitzung 6 Beispiel: Modelle als Werkzeuge Dieses Beispiel implementiert einen minimalen Router + Tool-Registry, der ein Modell basierend auf der Benutzeraufforderung auswählt und den OpenAI-kompatiblen Endpunkt von Foundry Local aufruft. ## Dateien - `router.py`: einfache Registry und heuristische Routing; Endpunkt-Erkennung + Gesundheitsprüfung. ## Ausführen (cmd.exe) ```cmd cd Module08 .\.venv\Scripts\activate REM Start whatever models you plan to route to foundry model run phi-4-mini foundry model run qwen2.5-7b foundry model run deepseek-r1-7b python samples\06\router.py "Explain how local-first AI improves privacy in two sentences." ``` ## Hinweise - Der Router verwendet einfache Schlüsselwort-Heuristiken, um zwischen den Werkzeugen `general`, `reasoning` und `code` zu wählen und gibt `/v1/models` beim Start aus. - Konfiguration über Umgebungsvariablen: ```cmd set BASE_URL=http://localhost:8000 set API_KEY= REM Override models per tool set GENERAL_MODEL=phi-4-mini set REASONING_MODEL=deepseek-r1-7b set CODE_MODEL=qwen2.5-7b REM Or provide a full JSON registry set TOOL_REGISTRY={"general":{"model":"phi-4-mini"},"reasoning":{"model":"deepseek-r1-7b"},"code":{"model":"qwen2.5-7b"}} ``` ## Referenzen - Foundry Local (Learn): https://learn.microsoft.com/azure/ai-foundry/foundry-local/ - Integration mit Inferenz-SDKs: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks --- **Haftungsausschluss**: Dieses Dokument wurde mit dem KI-Übersetzungsdienst [Co-op Translator](https://github.com/Azure/co-op-translator) übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner ursprünglichen Sprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die sich aus der Nutzung dieser Übersetzung ergeben.