# Модул 08: Практична примена са Microsoft Foundry Local - Комплетан алат за развој ## Преглед [Microsoft Foundry Local](https://learn.microsoft.com/azure/ai-foundry/foundry-local/) представља следећу генерацију развоја Edge AI технологије, пружајући програмерима моћне алате за креирање, имплементацију и скалирање AI апликација локално, уз беспрекорну интеграцију са Azure AI Foundry. Овај модул пружа свеобухватан преглед Foundry Local-а, од инсталације до напредног развоја агената. **Кључне технологије:** - Microsoft Foundry Local CLI и SDK - Интеграција са Azure AI Foundry - Инференција модела на уређају - Локално кеширање и оптимизација модела - Архитектуре засноване на агентима ## Циљеви учења Завршетком овог модула, научићете: - **Овладавање Foundry Local-ом**: Инсталирање, конфигурисање и оптимизација за развој на Windows 11 - **Имплементација различитих модела**: Покретање phi, qwen, deepseek и GPT модела локално помоћу CLI команди - **Креирање производних решења**: Развој AI апликација уз напредно инжењерство упита и интеграцију података - **Искоришћавање отвореног кода**: Интеграција Hugging Face модела и доприноса заједнице - **Развој AI агената**: Креирање интелигентних агената са могућностима за приземљење и оркестрацију - **Примена корпоративних шаблона**: Креирање модуларних, скалабилних AI решења за производну имплементацију ## Структура сесије ### [1: Почетак рада са Foundry Local](./01.FoundryLocalSetup.md) **Фокус**: Инсталација, подешавање CLI-а, имплементација модела и оптимизација хардвера **Кључне теме**: Комплетна инсталација • CLI команде • Кеширање модела • Убрзање хардвера • Имплементација више модела **Пример**: [REST Chat Quickstart](./samples/01/README.md) • [OpenAI SDK Integration](./samples/02/README.md) • [Model Discovery & Benchmarking](./samples/03/README.md) **Трајање**: 2-3 сата | **Ниво**: Почетни --- ### [2: Креирање AI решења са Azure AI Foundry](./02.AzureAIFoundryIntegration.md) **Фокус**: Напредно инжењерство упита, интеграција података и повезивање са облаком **Кључне теме**: Инжењерство упита • Интеграција података • Azure радни токови • Оптимизација перформанси • Праћење **Пример**: [Chainlit RAG Application](./samples/04/README.md) **Трајање**: 2-3 сата | **Ниво**: Средњи --- ### [3: Отворени модели у Foundry Local](./03.OpenSourceModels.md) **Фокус**: Интеграција Hugging Face-а, стратегије BYOM и модели заједнице **Кључне теме**: HuggingFace интеграција • Bring-your-own-model • Увид у Model Mondays • Доприноси заједнице • Избор модела **Пример**: [Multi-Agent Orchestration](./samples/05/README.md) **Трајање**: 2-3 сата | **Ниво**: Средњи --- ### [4: Истраживање најсавременијих модела](./04.CuttingEdgeModels.md) **Фокус**: LLMs vs SLMs, имплементација EdgeAI и напредни демо примери **Кључне теме**: Поређење модела • Инференција на уређају vs облак • Phi + ONNX Runtime • Chainlit RAG апликација • WebGPU оптимизација **Пример**: [Models-as-Tools Router](./samples/06/README.md) **Трајање**: 3-4 сата | **Ниво**: Напредни --- ### [5: Брзо креирање AI агената](./05.AIPoweredAgents.md) **Фокус**: Архитектуре агената, системски упити, приземљење и оркестрација **Кључне теме**: Шаблони дизајна агената • Инжењерство системских упита • Технике приземљења • Системи са више агената • Имплементација у производњи **Пример**: [Multi-Agent Orchestration](./samples/05/README.md) • [Advanced Multi-Agent System](./samples/09/README.md) **Трајање**: 3-4 сата | **Ниво**: Напредни --- ### [6: Foundry Local - Модели као алати](./06.ModelsAsTools.md) **Фокус**: Модуларна AI решења, скалирање у предузећима и производни шаблони **Кључне теме**: Модели као алати • Имплементација на уређају • SDK/API интеграција • Архитектуре за предузећа • Стратегије скалирања **Пример**: [Models-as-Tools Router](./samples/06/README.md) • [Foundry Tools Framework](./samples/10/README.md) **Трајање**: 3-4 сата | **Ниво**: Експертски --- ### [7: Шаблони директне API интеграције](./samples/07/README.md) **Фокус**: Чиста REST API интеграција без зависности од SDK-а за максималну контролу **Кључне теме**: Имплементација HTTP клијента • Прилагођена аутентификација • Праћење здравља модела • Стримовање одговора • Руковање грешкама у производњи **Пример**: [Direct API Client](./samples/07/README.md) **Трајање**: 2-3 сата | **Ниво**: Средњи --- ### [8: Нативна апликација за ћаскање на Windows 11](./samples/08/README.md) **Фокус**: Креирање модерних нативних апликација за ћаскање уз интеграцију Foundry Local-а **Кључне теме**: Развој Electron апликација • Fluent Design System • Нативна интеграција са Windows-ом • Стримовање у реалном времену • Дизајн интерфејса за ћаскање **Пример**: [Windows 11 Chat Application](./samples/08/README.md) **Трајање**: 3-4 сата | **Ниво**: Напредни --- ### [9: Напредна оркестрација са више агената](./samples/09/README.md) **Фокус**: Сложена координација агената, специјализована делегација задатака и колаборативни AI радни токови **Кључне теме**: Координација интелигентних агената • Шаблони за позивање функција • Комуникација између агената • Оркестрација радних токова • Механизми за осигурање квалитета **Пример**: [Advanced Multi-Agent System](./samples/09/README.md) **Трајање**: 4-5 сати | **Ниво**: Експертски --- ### [10: Foundry Local као оквир за алате](./samples/10/README.md) **Фокус**: Архитектура заснована на алатима за интеграцију Foundry Local-а у постојеће апликације и оквире **Кључне теме**: Интеграција са LangChain-ом • Функције Semantic Kernel-а • REST API оквири • CLI алати • Jupyter интеграција • Шаблони за имплементацију у производњи **Пример**: [Foundry Tools Framework](./samples/10/README.md) **Трајање**: 4-5 сати | **Ниво**: Експертски ## Предуслови ### Захтеви система - **Оперативни систем**: Windows 11 (22H2 или новији) - **Меморија**: 16GB RAM-а (32GB препоручено за веће моделе) - **Складиште**: 50GB слободног простора за кеширање модела - **Хардвер**: Уређај са NPU-ом препоручен (Copilot+ PC), GPU опционо - **Мрежа**: Брзи интернет за почетно преузимање модела ### Развојно окружење - Visual Studio Code са AI Toolkit екстензијом - Python 3.10+ и pip - Git за контролу верзија - PowerShell или Command Prompt - Azure CLI (опционо за интеграцију са облаком) ### Предзнање - Основно разумевање AI/ML концепата - Познавање командне линије - Основе Python програмирања - Концепти REST API-а - Основно знање о упитима и инференцији модела ## Временски оквир модула **Укупно процењено време**: 30-38 сати | Сесија | Област фокуса | Примери | Време | Комплексност | |--------|---------------|---------|-------|--------------| | 1 | Подешавање и основе | 01, 02, 03 | 2-3 сата | Почетни | | 2 | AI решења | 04 | 2-3 сата | Средњи | | 3 | Отворени код | 05 | 2-3 сата | Средњи | | 4 | Напредни модели | 06 | 3-4 сата | Напредни | | 5 | AI агенти | 05, 09 | 3-4 сата | Напредни | | 6 | Алати за предузећа | 06, 10 | 3-4 сата | Експертски | | 7 | Директна API интеграција | 07 | 2-3 сата | Средњи | | 8 | Windows 11 апликација за ћаскање | 08 | 3-4 сата | Напредни | | 9 | Напредна оркестрација | 09 | 4-5 сати | Експертски | | 10 | Оквир за алате | 10 | 4-5 сати | Експертски | ## Кључни ресурси **Званична документација:** - [Microsoft Foundry Local GitHub](https://github.com/microsoft/Foundry-Local) - Изворни код и званични примери - [Azure AI Foundry документација](https://learn.microsoft.com/en-us/azure/ai-foundry/foundry-local/) - Комплетан водич за подешавање и коришћење - [Model Mondays серија](https://aka.ms/model-mondays) - Недељни прегледи модела и туторијали **Заједница и подршка:** - [Foundry Local дискусије](https://github.com/microsoft/Foundry-Local/discussions) - Q&A заједнице и захтеви за функције - [Microsoft AI Developer Community](https://techcommunity.microsoft.com/category/artificialintelligence) - Најновије вести и најбоље праксе ## Резултати учења Завршетком овог модула, бићете спремни за: ### Техничко овладавање - **Имплементација и управљање**: Инсталације Foundry Local-а у развојним и производним окружењима - **Интеграција модела**: Рад са различитим породицама модела из Microsoft-а, Hugging Face-а и извора заједнице - **Креирање апликација**: Развој производних AI апликација са напредним функцијама и оптимизацијама - **Развој агената**: Имплементација сложених AI агената са приземљењем, резоновањем и интеграцијом алата ### Стратешко разумевање - **Одлуке о архитектури**: Доносите информисане одлуке између локалне и облачне имплементације - **Оптимизација перформанси**: Оптимизујте перформансе инференције на различитим хардверским конфигурацијама - **Скалирање у предузећима**: Дизајнирајте апликације које се скалирају од локалних прототипова до имплементација у предузећима - **Приватност и безбедност**: Имплементирајте решења за AI која чувају приватност уз локалну инференцију ### Иновативне способности - **Брзо прототиписање**: Брзо креирајте и тестирајте концепте AI апликација кроз свих 10 шаблона примера - **Интеграција заједнице**: Искористите моделе отвореног кода и допринесите екосистему - **Напредни шаблони**: Имплементирајте најсавременије AI шаблоне, укључујући RAG, агенте и интеграцију алата - **Овладавање оквирима**: Експертска интеграција са LangChain-ом, Semantic Kernel-ом, Chainlit-ом и Electron-ом - **Имплементација у производњи**: Скалирајте AI решења од локалних прототипова до система за предузећа - **Развој спреман за будућност**: Креирајте апликације спремне за нове AI технологије и шаблоне ## Почетак рада 1. **Подешавање окружења**: Осигурајте Windows 11 са препорученим хардвером (погледајте Предуслове) 2. **Инсталирајте Foundry Local**: Пратите Сесију 1 за комплетну инсталацију и конфигурацију 3. **Покрените Пример 01**: Почните са основном REST API интеграцијом да проверите подешавање 4. **Напредујте кроз примере**: Завршите примере 01-10 за свеобухватно овладавање ## Мерила успеха Пратите свој напредак кроз свих 10 свеобухватних примера: ### Основни ниво (Примери 01-03) - [ ] Успешно инсталирајте и конфигуришите Foundry Local - [ ] Завршите REST API интеграцију (Пример 01) - [ ] Имплементирајте компатибилност са OpenAI SDK-ом (Пример 02) - [ ] Извршите откривање модела и бенчмаркинг (Пример 03) ### Ниво апликације (Примери 04-06) - [ ] Имплементирајте и покрените најмање 4 различите породице модела - [ ] Креирајте функционалну RAG апликацију за ћаскање (Пример 04) - [ ] Креирајте систем за оркестрацију са више агената (Пример 05) - [ ] Имплементирајте интелигентно рутирање модела (Пример 06) ### Ниво напредне интеграције (Примери 07-10) - [ ] Креирајте производни API клијент (Пример 07) - [ ] Развијте нативну апликацију за ћаскање на Windows 11 (Пример 08) - [ ] Имплементирајте напредни систем са више агената (Пример 09) - [ ] Креирајте свеобухватан оквир за алате (Пример 10) ### Индикатори овладавања - [ ] Успешно покрените свих 10 примера без грешака - [ ] Прилагодите најмање 3 примера за специфичне случајеве - [ ] Имплементирајте 2+ примера у окружењима сличним производњи - [ ] Допринесите побољшањима или проширењима кода примера - [ ] Интегришите шаблоне Foundry Local-а у личне/професионалне пројекте ## Водич за брзи почетак - Сви примери ### Подешавање окружења Овај модул представља врхунски развој у области edge AI технологије, комбинујући Microsoft-ове алате на нивоу предузећа са флексибилношћу и иновацијама отвореног кода. Савладавањем Foundry Local кроз свих 10 свеобухватних примера, бићете на челу развоја AI апликација. **Комплетан пут учења:** - **Основа** (Примери 01-03): Интеграција API-ја и управљање моделима - **Апликације** (Примери 04-06): RAG, агенти и интелигентно рутирање - **Напредно** (Примери 07-10): Производни оквири и интеграција на нивоу предузећа За интеграцију са Azure OpenAI (Сесија 2), погледајте README датотеке појединачних примера за потребне променљиве окружења и подешавања верзије API-ја. --- **Одрицање од одговорности**: Овај документ је преведен помоћу услуге за превођење уз помоћ вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако настојимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људског преводиоца. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода.