# Глава 07: EdgeAI Примери Edge AI представлява сливането на изкуствения интелект с edge computing, позволявайки интелигентна обработка директно на устройствата без необходимост от свързаност с облака. Тази глава разглежда пет различни реализации на EdgeAI на различни платформи и рамки, демонстрирайки гъвкавостта и мощта на изпълнението на AI модели на edge. ## 1. EdgeAI в NVIDIA Jetson Orin Nano NVIDIA Jetson Orin Nano представлява пробив в достъпното edge AI изчисление, предоставяйки до 67 TOPS AI производителност в компактна форма с размер на кредитна карта. Тази мощна платформа за edge AI демократизира разработката на генеративен AI за любители, студенти и професионални разработчици. ### Основни характеристики - Предоставя до 67 TOPS AI производителност—1.7X подобрение спрямо предшественика си - 1024 CUDA ядра и до 32 Tensor ядра за AI обработка - 6-ядрен Arm Cortex-A78AE v8.2 64-битов процесор с максимална честота от 1.5 GHz - Цена само $249, предоставяйки най-достъпната платформа за разработчици, студенти и създатели ### Приложения Jetson Orin Nano е отличен за изпълнение на модерни генеративни AI модели, включително vision transformers, големи езикови модели и vision-language модели. Той е специално проектиран за GenAI случаи на употреба и вече можете да изпълнявате няколко LLMs на устройство с размер на длан. Популярни случаи на употреба включват AI-задвижвани роботи, умни дронове, интелигентни камери и автономни edge устройства. **Научете повече**: [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62) ## 2. EdgeAI в мобилни приложения с .NET MAUI и ONNX Runtime GenAI Това решение демонстрира как да интегрирате Generative AI и големи езикови модели (LLMs) в кросплатформени мобилни приложения, използвайки .NET MAUI (Multi-platform App UI) и ONNX Runtime GenAI. Този подход позволява на .NET разработчиците да създават сложни AI-задвижвани мобилни приложения, които работят нативно на Android и iOS устройства. ### Основни характеристики - Изградено върху .NET MAUI рамка, предоставяща един кодов базис за Android и iOS приложения - Интеграция с ONNX Runtime GenAI позволява изпълнение на генеративни AI модели директно на мобилни устройства - Поддържа различни хардуерни ускорители, адаптирани за мобилни устройства, включително CPU, GPU и специализирани мобилни AI процесори - Платформено-специфични оптимизации като CoreML за iOS и NNAPI за Android чрез ONNX Runtime - Реализира пълния генеративен AI цикъл, включително предварителна и последваща обработка, инференция, обработка на логити, търсене и семплиране, и управление на KV кеш ### Ползи за разработката Подходът с .NET MAUI позволява на разработчиците да използват съществуващите си умения в C# и .NET, докато създават кросплатформени AI приложения. ONNX Runtime GenAI рамката поддържа множество архитектури на модели, включително Llama, Mistral, Phi, Gemma и много други. Оптимизираните ARM64 ядра ускоряват INT4 квантизираната матрична умножение, осигурявайки ефективна производителност на мобилния хардуер, като същевременно запазват познатото .NET изживяване. ### Случаи на употреба Това решение е идеално за разработчици, които искат да създават AI-задвижвани мобилни приложения, използвайки .NET технологии, включително интелигентни чатботове, приложения за разпознаване на изображения, инструменти за превод на езици и персонализирани системи за препоръки, които работят изцяло на устройството за подобрена поверителност и офлайн възможности. **Научете повече**: [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui) ## 3. EdgeAI в Azure със Small Language Models Engine Решението на Microsoft, базирано на Azure EdgeAI, се фокусира върху ефективното разполагане на Small Language Models (SLMs) в хибридни среди облак-edge. Този подход преодолява разликата между AI услуги в облака и изискванията за разполагане на edge. ### Предимства на архитектурата - Безпроблемна интеграция с Azure AI услуги - Изпълнение на SLMs/LLMs и мултимодални модели на устройството и в облака с ONNX Runtime - Оптимизирано за разполагане в мащаб на предприятието - Поддръжка за непрекъснати актуализации и управление на модели ### Случаи на употреба Azure EdgeAI реализацията е отлична в сценарии, изискващи AI разполагане в мащаб на предприятието с възможности за управление в облака. Това включва интелигентна обработка на документи, анализи в реално време и хибридни AI работни потоци, които използват както облачни, така и edge изчислителни ресурси. **Научете повече**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine) ## [4. EdgeAI с Windows ML](./windowdeveloper.md) Windows ML представлява най-новата runtime технология на Microsoft, оптимизирана за ефективна инференция на модели на устройството и опростено разполагане, служейки като основа на Windows AI Foundry. Тази платформа позволява на разработчиците да създават AI-задвижвани Windows приложения, които използват пълния спектър от PC хардуер. ### Възможности на платформата - Работи на всички Windows 11 компютри с версия 24H2 (build 26100) или по-нова - Работи на всички x64 и ARM64 PC хардуери, дори компютри без NPUs или GPUs - Позволява на разработчиците да използват свои собствени модели и да ги разполагат ефективно в екосистемата на силиконовите партньори, включително AMD, Intel, NVIDIA и Qualcomm, обхващащи CPU, GPU, NPU - Благодарение на инфраструктурните API, разработчиците вече не трябва да създават множество версии на своето приложение за различни хардуери ### Ползи за разработчиците Windows ML абстрахира хардуера и изпълнителните доставчици, така че можете да се фокусирате върху писането на вашия код. Освен това, Windows ML автоматично се актуализира, за да поддържа най-новите NPUs, GPUs и CPUs, когато те бъдат пуснати. Платформата предоставя унифицирана рамка за AI разработка в разнообразната Windows хардуерна екосистема. **Научете повече**: - [Windows ML Overview](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview) - [Windows EdgeAI Development Guide](./windowdeveloper.md) - Подробно ръководство за разработка на Windows Edge AI ## [5. EdgeAI с Foundry Local Applications](./foundrylocal.md) Foundry Local позволява на разработчиците за Windows и Mac да създават Retrieval Augmented Generation (RAG) приложения, използвайки локални ресурси в .NET, комбинирайки локални езикови модели със семантично търсене. Този подход предоставя решения за AI, фокусирани върху поверителността, които работят изцяло на локална инфраструктура. ### Техническа архитектура - Комбинира езиковия модел Phi, локални вграждания и Semantic Kernel за създаване на RAG сценарий - Използва вграждания като вектори (масиви) от стойности с плаваща запетая, които представляват съдържание и неговото семантично значение - Semantic Kernel действа като основен оркестратор, интегрирайки Phi и Smart Components за създаване на безпроблемен RAG pipeline - Поддръжка за локални векторни бази данни, включително SQLite и Qdrant ### Ползи от реализацията RAG, или Retrieval Augmented Generation, е просто начин да се каже "потърси някаква информация и я включи в подканата". Тази локална реализация осигурява поверителност на данните, като същевременно предоставя интелигентни отговори, базирани на персонализирани бази знания. Подходът е особено ценен за корпоративни сценарии, изискващи суверенитет на данните и офлайн възможности. **Научете повече**: - [Foundry Local](./foundrylocal.md) - [Foundry Local RAG Samples](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag) ### Windows Foundry Local Microsoft Foundry Local предоставя REST сървър, съвместим с OpenAI, захранван от ONNX Runtime за изпълнение на модели локално на Windows. По-долу е кратко, валидирано резюме; вижте официалната документация за пълни подробности. - Започнете: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started - Архитектура: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture - CLI референция: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli - Пълно ръководство за Windows в този репо: [foundrylocal.md](./foundrylocal.md) Инсталиране или обновяване на Windows (cmd.exe): ```cmd winget install Microsoft.FoundryLocal winget upgrade --id Microsoft.FoundryLocal foundry --version ``` Разгледайте категории CLI: ```cmd foundry model --help foundry service --help foundry cache --help ``` Изпълнете модел и открийте динамичния endpoint: ```cmd foundry model run gpt-oss-20b foundry service status ``` Бърза REST проверка за списък с модели (заменете PORT от статус): ```cmd curl -s http://localhost:PORT/v1/models ``` Съвети: - SDK интеграция: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks - Донесете свой собствен модел (компилирайте): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models ## Ресурси за разработка на Windows EdgeAI За разработчиците, които специално се насочват към платформата Windows, създадохме подробно ръководство, което обхваща цялата екосистема на Windows EdgeAI. Този ресурс предоставя подробна информация за Windows AI Foundry, включително API, инструменти и най-добри практики за разработка на EdgeAI на Windows. ### Платформа Windows AI Foundry Платформата Windows AI Foundry предоставя пълен набор от инструменти и API, специално проектирани за разработка на Edge AI на Windows устройства. Това включва специализирана поддръжка за хардуер с ускорение от NPU, интеграция с Windows ML и техники за оптимизация, специфични за платформата. **Подробно ръководство**: [Windows EdgeAI Development Guide](../windowdeveloper.md) Това ръководство обхваща: - Преглед и компоненти на платформата Windows AI Foundry - Phi Silica API за ефективна инференция на NPU хардуер - API за компютърно зрение за обработка на изображения и OCR - Интеграция и оптимизация на Windows ML runtime - Foundry Local CLI за локална разработка и тестване - Стратегии за оптимизация на хардуера за Windows устройства - Практически примери за реализация и най-добри практики ### [AI Toolkit за разработка на Edge AI](./aitoolkit.md) За разработчиците, използващи Visual Studio Code, разширението AI Toolkit предоставя цялостна среда за разработка, специално проектирана за създаване, тестване и разполагане на Edge AI приложения. Този инструментариум опростява целия работен процес за разработка на Edge AI в рамките на VS Code. **Ръководство за разработка**: [AI Toolkit за разработка на Edge AI](./aitoolkit.md) Ръководството за AI Toolkit обхваща: - Откриване и избор на модели за edge разполагане - Локални тестове и оптимизационни работни потоци - Интеграция с ONNX и Ollama за edge модели - Техники за конвертиране и квантизация на модели - Разработка на агенти за edge сценарии - Оценка на производителността и мониторинг - Подготовка за разполагане и най-добри практики ## Заключение Тези пет реализации на EdgeAI демонстрират зрелостта и разнообразието на наличните решения за edge AI днес. От устройства с хардуерно ускорение като Jetson Orin Nano до софтуерни рамки като ONNX Runtime GenAI и Windows ML, разработчиците имат безпрецедентни опции за разполагане на интелигентни приложения на edge. Общата нишка между всички тези платформи е демократизацията на AI възможностите, правейки сложното машинно обучение достъпно за разработчици с различни нива на умения и случаи на употреба. Независимо дали създавате мобилни приложения, десктоп софтуер или вградени системи, тези EdgeAI решения предоставят основата за следващото поколение интелигентни приложения, които работят ефективно и поверително на edge. Всяка платформа предлага уникални предимства: Jetson Orin Nano за хардуерно ускорено edge изчисление, ONNX Runtime GenAI за кросплатформена мобилна разработка, Azure EdgeAI за интеграция облак-edge в предприятието, Windows ML за нативни Windows приложения и Foundry Local за реализации на RAG, фокусирани върху поверителността. Заедно те представляват цялостна екосистема за разработка на EdgeAI. [Следващ AI Toolkit](aitoolkit.md) --- **Отказ от отговорност**: Този документ е преведен с помощта на AI услуга за превод [Co-op Translator](https://github.com/Azure/co-op-translator). Въпреки че се стремим към точност, моля, имайте предвид, че автоматизираните преводи може да съдържат грешки или неточности. Оригиналният документ на неговия роден език трябва да се счита за авторитетен източник. За критична информация се препоръчва професионален човешки превод. Ние не носим отговорност за недоразумения или погрешни интерпретации, произтичащи от използването на този превод.