# Глава 07: EdgeAI примери Edge AI представља спој вештачке интелигенције и edge рачунарства, омогућавајући интелигентну обраду директно на уређајима без ослањања на cloud повезивање. Ова глава истражује пет различитих EdgeAI имплементација на различитим платформама и оквирима, показујући свестраност и моћ покретања AI модела на edge-у. ## 1. EdgeAI на NVIDIA Jetson Orin Nano NVIDIA Jetson Orin Nano представља револуцију у приступачном edge AI рачунарству, пружајући до 67 TOPS AI перформанси у компактном формату величине кредитне картице. Ова моћна Edge AI платформа демократизује развој генеративне AI за ентузијасте, студенте и професионалне програмере. ### Кључне карактеристике - Пружа до 67 TOPS AI перформанси—1.7X побољшање у односу на претходника - 1024 CUDA језгра и до 32 Tensor језгра за AI обраду - 6-језгарни Arm Cortex-A78AE v8.2 64-битни CPU са максималном фреквенцијом од 1.5 GHz - Цена од само $249, чинећи платформу најприступачнијом за програмере, студенте и креаторе ### Примене Jetson Orin Nano је изузетан у покретању модерних генеративних AI модела, укључујући vision transformers, моделе великог језика и vision-language моделе. Посебно је дизајниран за GenAI случајеве употребе, а сада можете покретати неколико LLM-ова на уређају величине длана. Популарне примене укључују роботику са AI, паметне дронове, интелигентне камере и аутономне edge уређаје. **Сазнајте више**: [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62) ## 2. EdgeAI у мобилним апликацијама са .NET MAUI и ONNX Runtime GenAI Ово решење показује како интегрисати генеративну AI и моделе великог језика (LLMs) у мобилне апликације које раде на више платформи користећи .NET MAUI (Multi-platform App UI) и ONNX Runtime GenAI. Овај приступ омогућава .NET програмерима да креирају напредне AI мобилне апликације које раде нативно на Android и iOS уређајима. ### Кључне карактеристике - Изграђено на .NET MAUI оквиру, пружајући јединствену базу кода за Android и iOS апликације - ONNX Runtime GenAI интеграција омогућава покретање генеративних AI модела директно на мобилним уређајима - Подржава различите хардверске акцелераторе прилагођене мобилним уређајима, укључујући CPU, GPU и специјализоване мобилне AI процесоре - Платформске оптимизације као што су CoreML за iOS и NNAPI за Android кроз ONNX Runtime - Имплементира комплетан генеративни AI циклус укључујући предобраду и постобраду, инференцију, обраду логита, претрагу и узорковање, као и управљање KV кешом ### Предности развоја .NET MAUI приступ омогућава програмерима да искористе своје постојеће C# и .NET вештине док граде апликације за више платформи. ONNX Runtime GenAI оквир подржава више архитектура модела, укључујући Llama, Mistral, Phi, Gemma и многе друге. Оптимизовани ARM64 кернели убрзавају INT4 квантизовану матричну множење, обезбеђујући ефикасне перформансе на мобилном хардверу уз задржавање познатог .NET искуства развоја. ### Случајеви употребе Ово решење је идеално за програмере који желе да креирају AI мобилне апликације користећи .NET технологије, укључујући интелигентне chatbot-ове, апликације за препознавање слика, алате за превођење језика и персонализоване системе препорука који раде искључиво на уређају ради побољшане приватности и могућности рада ван мреже. **Сазнајте више**: [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui) ## 3. EdgeAI на Azure-у са Small Language Models Engine Microsoft-ово Azure EdgeAI решење се фокусира на ефикасно распоређивање малих језичких модела (SLMs) у cloud-edge хибридним окружењима. Овај приступ премошћује јаз између cloud AI услуга и захтева edge распоређивања. ### Предности архитектуре - Беспрекорна интеграција са Azure AI услугама - Покретање SLM/LLM и мултимодалних модела на уређају и у cloud-у уз ONNX Runtime - Оптимизовано за распоређивање на нивоу предузећа - Подршка за континуирано ажурирање и управљање моделима ### Случајеви употребе Azure EdgeAI имплементација је изузетна у сценаријима који захтевају AI распоређивање на нивоу предузећа уз могућности управљања cloud-ом. Ово укључује интелигентну обраду докумената, анализу у реалном времену и хибридне AI радне токове који користе ресурсе cloud-а и edge-а. **Сазнајте више**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine) ## [4. EdgeAI са Windows ML](./windowdeveloper.md) Windows ML представља Microsoft-ов напредни runtime оптимизован за ефикасну инференцију модела на уређају и поједностављено распоређивање, служећи као основа Windows AI Foundry-а. Ова платформа омогућава програмерима да креирају AI апликације за Windows које користе пун спектар PC хардвера. ### Способности платформе - Ради на свим Windows 11 PC-јевима са верзијом 24H2 (build 26100) или новијом - Ради на свим x64 и ARM64 PC хардверима, чак и на PC-јевима који немају NPU или GPU - Омогућава програмерима да донесу своје моделе и ефикасно их распоређују преко екосистема силицијумских партнера, укључујући AMD, Intel, NVIDIA и Qualcomm, који обухватају CPU, GPU, NPU - Захваљујући инфраструктурним API-јима, програмери више не морају да креирају више верзија своје апликације за различите типове хардвера ### Предности за програмере Windows ML апстрахује хардвер и провајдере извршења, тако да можете да се фокусирате на писање кода. Поред тога, Windows ML се аутоматски ажурира како би подржао најновије NPU, GPU и CPU компоненте чим буду објављене. Платформа пружа јединствени оквир за AI развој у разноликом Windows хардверском екосистему. **Сазнајте више**: - [Windows ML Overview](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview) - [Windows EdgeAI Development Guide](./windowdeveloper.md) - Комплетан водич за развој Windows Edge AI-а ## [5. EdgeAI са Foundry Local апликацијама](./foundrylocal.md) Foundry Local омогућава Windows и Mac програмерима да креирају апликације за Retrieval Augmented Generation (RAG) користећи локалне ресурсе у .NET-у, комбинујући локалне језичке моделе са семантичким претраживањем. Овај приступ пружа решења фокусирана на приватност која функционишу искључиво на локалној инфраструктури. ### Техничка архитектура - Комбинује Phi језички модел, локалне уградње и Semantic Kernel за креирање RAG сценарија - Користи уградње као векторе (низове) вредности са покретним зарезом који представљају садржај и његово семантичко значење - Semantic Kernel делује као главни оркестратор, интегришући Phi и паметне компоненте за креирање беспрекорног RAG процеса - Подршка за локалне векторске базе података, укључујући SQLite и Qdrant ### Предности имплементације RAG, или Retrieval Augmented Generation, је само сложен начин да се каже "потражите нешто и ставите то у упит". Ова локална имплементација обезбеђује приватност података уз пружање интелигентних одговора заснованих на прилагођеним базама знања. Приступ је посебно вредан за сценарије у предузећима који захтевају суверенитет података и могућности рада ван мреже. **Сазнајте више**: - [Foundry Local](./foundrylocal.md) - [Foundry Local RAG Samples](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag) ### Windows Foundry Local Microsoft Foundry Local пружа OpenAI‑компатибилан REST сервер који покреће ONNX Runtime за покретање модела локално на Windows-у. Испод је брз, валидиран резиме; погледајте званичну документацију за све детаље. - Почетак: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started - Архитектура: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture - CLI референца: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli - Комплетан Windows водич у овом репозиторијуму: [foundrylocal.md](./foundrylocal.md) Инсталирајте или ажурирајте на Windows-у (cmd.exe): ```cmd winget install Microsoft.FoundryLocal winget upgrade --id Microsoft.FoundryLocal foundry --version ``` Истражите CLI категорије: ```cmd foundry model --help foundry service --help foundry cache --help ``` Покрените модел и откријте динамички endpoint: ```cmd foundry model run gpt-oss-20b foundry service status ``` Брза REST провера за листу модела (замените PORT из статуса): ```cmd curl -s http://localhost:PORT/v1/models ``` Савети: - SDK интеграција: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks - Донесите свој модел (компилација): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models ## Ресурси за развој Windows EdgeAI-а За програмере који циљају Windows платформу, креирали смо свеобухватан водич који покрива комплетан Windows EdgeAI екосистем. Овај ресурс пружа детаљне информације о Windows AI Foundry-у, укључујући API-је, алате и најбоље праксе за EdgeAI развој на Windows-у. ### Windows AI Foundry платформа Windows AI Foundry платформа пружа свеобухватан сет алата и API-ја посебно дизајнираних за Edge AI развој на Windows уређајима. Ово укључује специјализовану подршку за NPU-акцелераторе, Windows ML интеграцију и платформске технике оптимизације. **Свеобухватан водич**: [Windows EdgeAI Development Guide](../windowdeveloper.md) Овај водич покрива: - Преглед и компоненте Windows AI Foundry платформе - Phi Silica API за ефикасну инференцију на NPU хардверу - Computer Vision API-је за обраду слика и OCR - Windows ML runtime интеграцију и оптимизацију - Foundry Local CLI за локални развој и тестирање - Стратегије оптимизације хардвера за Windows уређаје - Практични примери имплементације и најбоље праксе ### [AI Toolkit за Edge AI развој](./aitoolkit.md) За програмере који користе Visual Studio Code, AI Toolkit екстензија пружа свеобухватно окружење за развој посебно дизајнирано за изградњу, тестирање и распоређивање Edge AI апликација. Овај алат поједностављује цео Edge AI развојни процес унутар VS Code-а. **Водич за развој**: [AI Toolkit за Edge AI развој](./aitoolkit.md) Водич за AI Toolkit покрива: - Откривање и избор модела за edge распоређивање - Локално тестирање и оптимизационе радне токове - ONNX и Ollama интеграцију за edge моделе - Технике конверзије и квантизације модела - Развој агената за edge сценарије - Евалуацију перформанси и праћење - Припрему за распоређивање и најбоље праксе ## Закључак Ових пет EdgeAI имплементација показују зрелост и разноликост Edge AI решења доступних данас. Од хардверски акцелерираних edge уређаја као што је Jetson Orin Nano до софтверских оквира као што су ONNX Runtime GenAI и Windows ML, програмери имају невиђене опције за распоређивање интелигентних апликација на edge-у. Заједничка нит свих ових платформи је демократизација AI могућности, чинећи софистициране моделе машинског учења доступним програмерима различитих нивоа вештина и случајева употребе. Било да градите мобилне апликације, десктоп софтвер или уграђене системе, ова EdgeAI решења пружају основу за следећу генерацију интелигентних апликација које раде ефикасно и приватно на edge-у. Свака платформа нуди јединствене предности: Jetson Orin Nano за хардверски акцелерирано edge рачунарство, ONNX Runtime GenAI за развој мобилних апликација на више платформи, Azure EdgeAI за интеграцију cloud-edge-а на нивоу предузећа, Windows ML за нативне Windows апликације и Foundry Local за имплементације RAG-а фокусиране на приватност. Заједно, оне представљају свеобухватан екосистем за EdgeAI развој. [Следећи AI Toolkit](aitoolkit.md) --- **Одрицање од одговорности**: Овај документ је преведен помоћу услуге за превођење уз помоћ вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода.