# Модул 08: Практическа работа с Microsoft Foundry Local - Пълен комплект за разработчици ## Преглед [Microsoft Foundry Local](https://learn.microsoft.com/azure/ai-foundry/foundry-local/) представлява следващото поколение на разработка на Edge AI, предоставяйки на разработчиците мощни инструменти за създаване, внедряване и мащабиране на AI приложения локално, като същевременно се запазва безпроблемната интеграция с Azure AI Foundry. Този модул предлага цялостно покритие на Foundry Local - от инсталация до разработка на усъвършенствани агенти. **Основни технологии:** - Microsoft Foundry Local CLI и SDK - Интеграция с Azure AI Foundry - Локално извеждане на модели - Кеширане и оптимизация на модели на устройството - Архитектури, базирани на агенти ## Цели на обучението След завършване на този модул, ще можете: - **Да овладеете Foundry Local**: Инсталиране, конфигуриране и оптимизация за разработка на Windows 11 - **Да внедрявате разнообразни модели**: Стартиране на phi, qwen, deepseek и GPT модели локално чрез CLI команди - **Да създавате производствени решения**: Разработка на AI приложения с усъвършенствано инженерство на подсказки и интеграция на данни - **Да използвате екосистемата с отворен код**: Интеграция на модели от Hugging Face и приноси от общността - **Да разработвате AI агенти**: Създаване на интелигентни агенти с възможности за обосновка и оркестрация - **Да прилагате корпоративни модели**: Създаване на модулни, мащабируеми AI решения за производствено внедряване ## Структура на сесията ### [1: Започване с Foundry Local](./01.FoundryLocalSetup.md) **Фокус**: Инсталация, настройка на CLI, внедряване на модели и оптимизация на хардуера **Основни теми**: Пълна инсталация • CLI команди • Кеширане на модели • Хардуерно ускорение • Внедряване на множество модели **Пример**: [Бърз старт с REST чат](./samples/01/README.md) • [Интеграция на OpenAI SDK](./samples/02/README.md) • [Откриване и тестване на модели](./samples/03/README.md) **Продължителност**: 2-3 часа | **Ниво**: Начинаещ --- ### [2: Създаване на AI решения с Azure AI Foundry](./02.AzureAIFoundryIntegration.md) **Фокус**: Усъвършенствано инженерство на подсказки, интеграция на данни и свързаност с облака **Основни теми**: Инженерство на подсказки • Интеграция на данни • Работни потоци в Azure • Оптимизация на производителността • Мониторинг **Пример**: [Приложение Chainlit RAG](./samples/04/README.md) **Продължителност**: 2-3 часа | **Ниво**: Средно --- ### [3: Модели с отворен код във Foundry Local](./03.OpenSourceModels.md) **Фокус**: Интеграция с Hugging Face, стратегии за BYOM и модели от общността **Основни теми**: Интеграция с Hugging Face • Bring-your-own-model • Инсайти от Model Mondays • Приноси от общността • Избор на модели **Пример**: [Оркестрация на множество агенти](./samples/05/README.md) **Продължителност**: 2-3 часа | **Ниво**: Средно --- ### [4: Изследване на авангардни модели](./04.CuttingEdgeModels.md) **Фокус**: Сравнение между LLMs и SLMs, внедряване на EdgeAI и усъвършенствани демонстрации **Основни теми**: Сравнение на модели • Извеждане на Edge срещу облак • Phi + ONNX Runtime • Приложение Chainlit RAG • Оптимизация с WebGPU **Пример**: [Рутер за модели като инструменти](./samples/06/README.md) **Продължителност**: 3-4 часа | **Ниво**: Напреднало --- ### [5: Бързо създаване на AI агенти](./05.AIPoweredAgents.md) **Фокус**: Архитектури на агенти, системни подсказки, обосновка и оркестрация **Основни теми**: Модели за дизайн на агенти • Инженерство на системни подсказки • Техники за обосновка • Системи с множество агенти • Производствено внедряване **Пример**: [Оркестрация на множество агенти](./samples/05/README.md) • [Усъвършенствана система с множество агенти](./samples/09/README.md) **Продължителност**: 3-4 часа | **Ниво**: Напреднало --- ### [6: Foundry Local - Модели като инструменти](./06.ModelsAsTools.md) **Фокус**: Модулни AI решения, мащабиране в предприятия и производствени модели **Основни теми**: Модели като инструменти • Внедряване на устройството • Интеграция на SDK/API • Архитектури за предприятия • Стратегии за мащабиране **Пример**: [Рутер за модели като инструменти](./samples/06/README.md) • [Рамка за инструменти Foundry](./samples/10/README.md) **Продължителност**: 3-4 часа | **Ниво**: Експертно --- ### [7: Модели за директна интеграция на API](./samples/07/README.md) **Фокус**: Чиста REST API интеграция без зависимости от SDK за максимален контрол **Основни теми**: Имплементация на HTTP клиент • Персонализирана автентикация • Мониторинг на здравето на модела • Потокови отговори • Обработка на грешки в производството **Пример**: [Директен API клиент](./samples/07/README.md) **Продължителност**: 2-3 часа | **Ниво**: Средно --- ### [8: Нативно чат приложение за Windows 11](./samples/08/README.md) **Фокус**: Създаване на модерни нативни чат приложения с интеграция на Foundry Local **Основни теми**: Разработка с Electron • Fluent Design System • Нативна интеграция с Windows • Поток в реално време • Дизайн на чат интерфейс **Пример**: [Чат приложение за Windows 11](./samples/08/README.md) **Продължителност**: 3-4 часа | **Ниво**: Напреднало --- ### [9: Усъвършенствана оркестрация на множество агенти](./samples/09/README.md) **Фокус**: Сложна координация на агенти, специализирано делегиране на задачи и съвместни AI работни потоци **Основни теми**: Координация на интелигентни агенти • Модели за извикване на функции • Комуникация между агенти • Оркестрация на работни потоци • Механизми за осигуряване на качество **Пример**: [Усъвършенствана система с множество агенти](./samples/09/README.md) **Продължителност**: 4-5 часа | **Ниво**: Експертно --- ### [10: Foundry Local като рамка за инструменти](./samples/10/README.md) **Фокус**: Архитектура, ориентирана към инструменти, за интеграция на Foundry Local в съществуващи приложения и рамки **Основни теми**: Интеграция с LangChain • Функции на Semantic Kernel • Рамки за REST API • CLI инструменти • Интеграция с Jupyter • Модели за производствено внедряване **Пример**: [Рамка за инструменти Foundry](./samples/10/README.md) **Продължителност**: 4-5 часа | **Ниво**: Експертно ## Предварителни изисквания ### Системни изисквания - **Операционна система**: Windows 11 (22H2 или по-нова версия) - **Памет**: 16GB RAM (32GB препоръчително за по-големи модели) - **Съхранение**: 50GB свободно пространство за кеширане на модели - **Хардуер**: Препоръчително устройство с NPU (Copilot+ PC), GPU по избор - **Мрежа**: Високоскоростен интернет за първоначално изтегляне на модели ### Среда за разработка - Visual Studio Code с разширение AI Toolkit - Python 3.10+ и pip - Git за контрол на версиите - PowerShell или Command Prompt - Azure CLI (по избор за интеграция с облака) ### Знания - Основно разбиране на AI/ML концепции - Запознатост с командния ред - Основи на програмирането с Python - Концепции за REST API - Основни знания за подсказки и извеждане на модели ## Хронология на модула **Общо време**: 30-38 часа | Сесия | Фокус | Примери | Време | Сложност | |-------|-------|---------|-------|----------| | 1 | Настройка и основи | 01, 02, 03 | 2-3 часа | Начинаещ | | 2 | AI решения | 04 | 2-3 часа | Средно | | 3 | Отворен код | 05 | 2-3 часа | Средно | | 4 | Усъвършенствани модели | 06 | 3-4 часа | Напреднало | | 5 | AI агенти | 05, 09 | 3-4 часа | Напреднало | | 6 | Инструменти за предприятия | 06, 10 | 3-4 часа | Експертно | | 7 | Директна интеграция на API | 07 | 2-3 часа | Средно | | 8 | Чат приложение за Windows 11 | 08 | 3-4 часа | Напреднало | | 9 | Усъвършенствана оркестрация | 09 | 4-5 часа | Експертно | | 10 | Рамка за инструменти | 10 | 4-5 часа | Експертно | ## Основни ресурси **Официална документация:** - [Microsoft Foundry Local GitHub](https://github.com/microsoft/Foundry-Local) - Изходен код и официални примери - [Документация на Azure AI Foundry](https://learn.microsoft.com/en-us/azure/ai-foundry/foundry-local/) - Пълно ръководство за настройка и използване - [Серия Model Mondays](https://aka.ms/model-mondays) - Седмични акценти и уроци за модели **Общност и поддръжка:** - [Дискусии за Foundry Local](https://github.com/microsoft/Foundry-Local/discussions) - Въпроси и отговори от общността и заявки за функции - [Общност на разработчиците на Microsoft AI](https://techcommunity.microsoft.com/category/artificialintelligence) - Последни новини и добри практики ## Резултати от обучението След завършване на този модул, ще бъдете подготвени да: ### Техническо овладяване - **Внедряване и управление**: Инсталации на Foundry Local в среди за разработка и производство - **Интеграция на модели**: Безпроблемна работа с разнообразни семейства модели от Microsoft, Hugging Face и източници от общността - **Създаване на приложения**: Разработка на готови за производство AI приложения с усъвършенствани функции и оптимизации - **Разработка на агенти**: Имплементация на сложни AI агенти с обосновка, разсъждение и интеграция на инструменти ### Стратегическо разбиране - **Архитектурни решения**: Вземане на информирани решения между локално и облачно внедряване - **Оптимизация на производителността**: Оптимизация на производителността на извеждане за различни хардуерни конфигурации - **Мащабиране в предприятия**: Дизайн на приложения, които се мащабират от локални прототипи до внедрявания в предприятия - **Поверителност и сигурност**: Имплементация на AI решения, запазващи поверителността, с локално извеждане ### Възможности за иновации - **Бързо прототипиране**: Бързо създаване и тестване на концепции за AI приложения чрез всички 10 примерни модела - **Интеграция с общността**: Използване на модели с отворен код и принос към екосистемата - **Усъвършенствани модели**: Имплементация на авангардни AI модели, включително RAG, агенти и интеграция на инструменти - **Овладяване на рамки**: Експертна интеграция с LangChain, Semantic Kernel, Chainlit и Electron - **Производствено внедряване**: Внедряване на мащабируеми AI решения от локални прототипи до системи за предприятия - **Разработка, готова за бъдещето**: Създаване на приложения, готови за нововъзникващи AI технологии и модели ## Започване 1. **Настройка на средата**: Уверете се, че използвате Windows 11 с препоръчания хардуер (вижте предварителните изисквания) 2. **Инсталирайте Foundry Local**: Следвайте Сесия 1 за пълна инсталация и конфигурация 3. **Стартирайте Пример 01**: Започнете с основна REST API интеграция, за да проверите настройката 4. **Напредвайте през примерите**: Завършете примери 01-10 за цялостно овладяване ## Метрики за успех Проследявайте напредъка си чрез всички 10 примерни модела: ### Основно ниво (Примери 01-03) - [ ] Успешно инсталиране и конфигуриране на Foundry Local - [ ] Завършена REST API интеграция (Пример 01) - [ ] Имплементация на съвместимост с OpenAI SDK (Пример 02) - [ ] Откриване и тестване на модели (Пример 03) ### Ниво на приложение (Примери 04-06) - [ ] Внедряване и стартиране на поне 4 различни семейства модели - [ ] Създаване на функционално RAG чат приложение (Пример 04) - [ ] Създаване на система за оркестрация на множество агенти (Пример 05) - [ ] Имплементация на интелигентен рутер за модели (Пример 06) ### Ниво на усъвършенствана интеграция (Примери 07-10) - [ ] Създаване на готов за производство API клиент (Пример 07) - [ ] Разработка на нативно чат приложение за Windows 11 (Пример 08) - [ ] Имплементация на усъвършенствана система с множество агенти (Пример 09) - [ ] Създаване на цялостна рамка за инструменти (Пример 10) ### Индикатори за овладяване - [ ] Успешно стартиране на всички 10 примера без грешки - [ ] Персонализиране на поне 3 примера за специфични случаи - [ ] Внедряване на 2+ примера в производствени среди - [ ] Принос към подобрения или разширения на примерния код - [ ] Интеграция на модели на Foundry Local в лични/професионални проекти ## Бързо ръководство - Всички 10 примера ### Настройка на средата (Задължително за всички примери) ```powershell # 1. Clone and navigate to Module08 cd Module08 # 2. Create Python virtual environment py -m venv .venv .\.venv\Scripts\activate # 3. Install base dependencies pip install -r requirements.txt # 4. Install Foundry Local (if not already installed) winget install Microsoft.FoundryLocal # 5. Verify Foundry Local installation foundry --version foundry model list ``` ### Основни примери (01-06) **Пример 01: Бърз старт с REST чат** ```powershell # Start Foundry Local service foundry model run phi-4-mini # Run REST chat demo python samples/01/chat_quickstart.py ``` **Пример 02: Интеграция на OpenAI SDK** ```powershell # Ensure model is running foundry status # Run SDK demo python samples/02/sdk_quickstart.py ``` **Пример 03: Откриване и тестване на модели** Този модул представлява върхът на развитието на edge AI, съчетавайки корпоративните инструменти на Microsoft с гъвкавостта и иновациите на екосистемата с отворен код. Усвоявайки Foundry Local чрез всички 10 изчерпателни примера, ще се позиционирате на предната линия на разработката на AI приложения. **Пълен учебен път:** - **Основи** (Примери 01-03): Интеграция на API и управление на модели - **Приложения** (Примери 04-06): RAG, агенти и интелигентно маршрутизиране - **Напреднали** (Примери 07-10): Производствени рамки и корпоративна интеграция За интеграция с Azure OpenAI (Сесия 2), вижте README файловете на отделните примери за необходимите променливи на средата и настройки на версията на API. --- **Отказ от отговорност**: Този документ е преведен с помощта на AI услуга за превод [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля, имайте предвид, че автоматизираните преводи може да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Не носим отговорност за недоразумения или погрешни интерпретации, произтичащи от използването на този превод.