# Розділ 07: Зразки EdgeAI Edge AI — це поєднання штучного інтелекту з обчисленнями на периферії, що дозволяє здійснювати інтелектуальну обробку безпосередньо на пристроях без необхідності підключення до хмари. У цьому розділі розглядаються п’ять різних реалізацій EdgeAI на різних платформах і у фреймворках, демонструючи універсальність і потужність запуску моделей штучного інтелекту на периферії. ## 1. EdgeAI на NVIDIA Jetson Orin Nano NVIDIA Jetson Orin Nano є проривом у доступних обчисленнях Edge AI, забезпечуючи до 67 TOPS продуктивності штучного інтелекту в компактному форм-факторі розміром з кредитну картку. Ця потужна платформа Edge AI демократизує розробку генеративного штучного інтелекту для ентузіастів, студентів і професійних розробників. ### Основні характеристики - Забезпечує до 67 TOPS продуктивності штучного інтелекту — на 1.7X більше, ніж у попередника - 1024 ядра CUDA і до 32 ядер Tensor для обробки штучного інтелекту - 6-ядерний процесор Arm Cortex-A78AE v8.2 64-біт із максимальною частотою 1.5 ГГц - Ціна лише $249, що робить платформу доступною для розробників, студентів і творців ### Застосування Jetson Orin Nano чудово підходить для запуску сучасних генеративних моделей штучного інтелекту, включаючи Vision Transformers, великі мовні моделі та моделі Vision-Language. Він спеціально розроблений для використання в GenAI, і тепер ви можете запускати кілька LLM на пристрої розміром з долоню. Популярні випадки використання включають робототехніку з підтримкою штучного інтелекту, розумні дрони, інтелектуальні камери та автономні периферійні пристрої. **Дізнатися більше**: [NVIDIA's Jetson Orin Nano SuperComputer: The Next Big Thing in EdgeAI](https://medium.com/data-science-in-your-pocket/nvidias-jetson-orin-nano-supercomputer-the-next-big-thing-in-edgeai-e9eff687ae62) ## 2. EdgeAI у мобільних додатках із .NET MAUI та ONNX Runtime GenAI Це рішення демонструє, як інтегрувати генеративний штучний інтелект і великі мовні моделі (LLM) у кросплатформні мобільні додатки за допомогою .NET MAUI (Multi-platform App UI) і ONNX Runtime GenAI. Цей підхід дозволяє розробникам .NET створювати складні мобільні додатки з підтримкою штучного інтелекту, які працюють нативно на пристроях Android і iOS. ### Основні характеристики - Побудовано на фреймворку .NET MAUI, що забезпечує єдину кодову базу для додатків Android і iOS - Інтеграція ONNX Runtime GenAI дозволяє запускати генеративні моделі штучного інтелекту безпосередньо на мобільних пристроях - Підтримує різні апаратні прискорювачі, адаптовані для мобільних пристроїв, включаючи CPU, GPU та спеціалізовані мобільні AI-процесори - Оптимізації для конкретних платформ, такі як CoreML для iOS і NNAPI для Android через ONNX Runtime - Реалізує повний цикл генеративного штучного інтелекту, включаючи попередню та постобробку, інференс, обробку логітів, пошук і вибір, а також управління KV-кешем ### Переваги розробки Підхід .NET MAUI дозволяє розробникам використовувати свої існуючі навички C# і .NET, створюючи кросплатформні AI-додатки. Фреймворк ONNX Runtime GenAI підтримує кілька архітектур моделей, включаючи Llama, Mistral, Phi, Gemma та багато інших. Оптимізовані ядра ARM64 прискорюють INT4-квантизоване множення матриць, забезпечуючи ефективну продуктивність на мобільному обладнанні, зберігаючи при цьому знайомий досвід розробки .NET. ### Випадки використання Це рішення ідеально підходить для розробників, які хочуть створювати мобільні додатки з підтримкою штучного інтелекту за допомогою технологій .NET, включаючи інтелектуальні чат-боти, додатки для розпізнавання зображень, інструменти перекладу мов і персоналізовані системи рекомендацій, які працюють повністю на пристрої для покращення конфіденційності та можливості роботи офлайн. **Дізнатися більше**: [.NET MAUI ONNX Runtime GenAI Example](https://github.com/microsoft/onnxruntime-genai/tree/jialli/genny-maui/examples/csharp/GennyMaui) ## 3. EdgeAI в Azure із Small Language Models Engine Рішення EdgeAI від Microsoft на базі Azure зосереджене на ефективному розгортанні малих мовних моделей (SLM) у гібридних середовищах хмара-периферія. Цей підхід об’єднує масштабовані AI-сервіси хмари з вимогами до розгортання на периферії. ### Переваги архітектури - Безшовна інтеграція з AI-сервісами Azure - Запуск SLM/LLM і мультимодальних моделей на пристрої та в хмарі за допомогою ONNX Runtime - Оптимізовано для розгортання в масштабах підприємства - Підтримка безперервного оновлення та управління моделями ### Випадки використання Реалізація Azure EdgeAI чудово підходить для сценаріїв, які потребують розгортання AI корпоративного рівня з можливостями управління хмарою. Це включає інтелектуальну обробку документів, аналітику в реальному часі та гібридні AI-робочі процеси, які використовують як хмарні, так і периферійні обчислювальні ресурси. **Дізнатися більше**: [Azure EdgeAI SLM Engine](https://github.com/microsoft/onnxruntime-genai/tree/main/examples/slm_engine) ## [4. EdgeAI із Windows ML](./windowdeveloper.md) Windows ML — це передовий runtime від Microsoft, оптимізований для продуктивного інференсу моделей на пристрої та спрощеного розгортання, який є основою Windows AI Foundry. Ця платформа дозволяє розробникам створювати Windows-додатки з підтримкою штучного інтелекту, які використовують весь спектр апаратного забезпечення ПК. ### Можливості платформи - Працює на всіх ПК з Windows 11, версії 24H2 (збірка 26100) або новішої - Працює на всьому апаратному забезпеченні ПК x64 і ARM64, навіть на ПК без NPU або GPU - Дозволяє розробникам використовувати власні моделі та ефективно розгортати їх у екосистемі партнерів з виробництва чипів, включаючи AMD, Intel, NVIDIA і Qualcomm, охоплюючи CPU, GPU, NPU - Завдяки інфраструктурним API розробникам більше не потрібно створювати кілька збірок своїх додатків для різного апаратного забезпечення ### Переваги для розробників Windows ML абстрагує апаратне забезпечення та провайдерів виконання, тому ви можете зосередитися на написанні коду. Крім того, Windows ML автоматично оновлюється, щоб підтримувати найновіші NPU, GPU та CPU після їх випуску. Платформа забезпечує єдиний фреймворк для розробки штучного інтелекту в різноманітній екосистемі апаратного забезпечення Windows. **Дізнатися більше**: - [Windows ML Overview](https://learn.microsoft.com/en-us/windows/ai/new-windows-ml/overview) - [Windows EdgeAI Development Guide](./windowdeveloper.md) - Комплексний посібник з розробки Windows Edge AI ## [5. EdgeAI із Foundry Local Applications](./foundrylocal.md) Foundry Local дозволяє розробникам Windows і Mac створювати додатки Retrieval Augmented Generation (RAG) із використанням локальних ресурсів у .NET, поєднуючи локальні мовні моделі з можливостями семантичного пошуку. Цей підхід забезпечує конфіденційні AI-рішення, які працюють повністю на локальній інфраструктурі. ### Технічна архітектура - Поєднує мовну модель Phi, локальні ембеддинги та Semantic Kernel для створення сценарію RAG - Використовує ембеддинги як вектори (масиви) значень з плаваючою точкою, які представляють контент і його семантичне значення - Semantic Kernel виступає головним оркестратором, інтегруючи Phi і Smart Components для створення безшовного RAG-пайплайну - Підтримка локальних векторних баз даних, включаючи SQLite і Qdrant ### Переваги реалізації RAG, або Retrieval Augmented Generation, — це просто складний спосіб сказати "знайти деяку інформацію та додати її до запиту". Ця локальна реалізація забезпечує конфіденційність даних, надаючи інтелектуальні відповіді, засновані на власних базах знань. Підхід особливо цінний для корпоративних сценаріїв, які потребують суверенітету даних і можливостей роботи офлайн. **Дізнатися більше**: - [Foundry Local](./foundrylocal.md) - [Foundry Local RAG Samples](https://github.com/microsoft/Foundry-Local/tree/main/samples/dotNET/rag) ### Windows Foundry Local Microsoft Foundry Local забезпечує REST-сервер, сумісний із OpenAI, на базі ONNX Runtime для запуску моделей локально на Windows. Нижче наведено короткий перевірений огляд; дивіться офіційну документацію для отримання повної інформації. - Початок роботи: https://learn.microsoft.com/azure/ai-foundry/foundry-local/get-started - Архітектура: https://learn.microsoft.com/azure/ai-foundry/foundry-local/concepts/foundry-local-architecture - Довідка CLI: https://learn.microsoft.com/azure/ai-foundry/foundry-local/reference/reference-cli - Повний посібник для Windows у цьому репозиторії: [foundrylocal.md](./foundrylocal.md) Встановлення або оновлення на Windows (cmd.exe): ```cmd winget install Microsoft.FoundryLocal winget upgrade --id Microsoft.FoundryLocal foundry --version ``` Дослідження категорій CLI: ```cmd foundry model --help foundry service --help foundry cache --help ``` Запуск моделі та виявлення динамічної кінцевої точки: ```cmd foundry model run gpt-oss-20b foundry service status ``` Швидка перевірка REST для списку моделей (замініть PORT зі статусу): ```cmd curl -s http://localhost:PORT/v1/models ``` Поради: - Інтеграція SDK: https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-integrate-with-inference-sdks - Використання власної моделі (компіляція): https://learn.microsoft.com/azure/ai-foundry/foundry-local/how-to/how-to-compile-hugging-face-models ## Ресурси для розробки Windows EdgeAI Для розробників, які спеціально орієнтуються на платформу Windows, ми створили комплексний посібник, який охоплює всю екосистему Windows EdgeAI. Цей ресурс надає детальну інформацію про Windows AI Foundry, включаючи API, інструменти та найкращі практики для розробки EdgeAI на Windows. ### Платформа Windows AI Foundry Платформа Windows AI Foundry надає комплексний набір інструментів і API, спеціально розроблених для розробки Edge AI на пристроях Windows. Це включає спеціалізовану підтримку апаратного забезпечення з прискоренням NPU, інтеграцію Windows ML і техніки оптимізації для конкретних платформ. **Комплексний посібник**: [Windows EdgeAI Development Guide](../windowdeveloper.md) Цей посібник охоплює: - Огляд платформи Windows AI Foundry і її компонентів - API Phi Silica для ефективного інференсу на апаратному забезпеченні NPU - API комп’ютерного зору для обробки зображень і OCR - Інтеграцію та оптимізацію runtime Windows ML - CLI Foundry Local для локальної розробки та тестування - Стратегії оптимізації апаратного забезпечення для пристроїв Windows - Практичні приклади реалізації та найкращі практики ### [AI Toolkit для розробки Edge AI](./aitoolkit.md) Для розробників, які використовують Visual Studio Code, розширення AI Toolkit надає комплексне середовище розробки, спеціально розроблене для створення, тестування та розгортання додатків Edge AI. Цей інструментарій спрощує весь робочий процес розробки Edge AI у VS Code. **Посібник з розробки**: [AI Toolkit для розробки Edge AI](./aitoolkit.md) Посібник AI Toolkit охоплює: - Вибір і пошук моделей для розгортання на периферії - Локальні робочі процеси тестування та оптимізації - Інтеграцію ONNX і Ollama для моделей на периферії - Техніки конвертації та квантизації моделей - Розробку агентів для сценаріїв на периферії - Оцінку продуктивності та моніторинг - Підготовку до розгортання та найкращі практики ## Висновок Ці п’ять реалізацій EdgeAI демонструють зрілість і різноманітність доступних сьогодні рішень Edge AI. Від пристроїв із апаратним прискоренням, таких як Jetson Orin Nano, до програмних фреймворків, таких як ONNX Runtime GenAI і Windows ML, розробники мають безпрецедентні можливості для розгортання інтелектуальних додатків на периферії. Спільною рисою всіх цих платформ є демократизація можливостей штучного інтелекту, що робить складне машинне навчання доступним для розробників із різним рівнем навичок і для різних випадків використання. Незалежно від того, чи створюєте ви мобільні додатки, настільне програмне забезпечення чи вбудовані системи, ці рішення EdgeAI забезпечують основу для наступного покоління інтелектуальних додатків, які працюють ефективно та конфіденційно на периферії. Кожна платформа пропонує унікальні переваги: Jetson Orin Nano для обчислень на периферії з апаратним прискоренням, ONNX Runtime GenAI для кросплатформної мобільної розробки, Azure EdgeAI для інтеграції хмара-периферія в корпоративному середовищі, Windows ML для нативних додатків Windows і Foundry Local для конфіденційних реалізацій RAG. Разом вони представляють комплексну екосистему для розробки EdgeAI. [Наступний AI Toolkit](aitoolkit.md) --- **Відмова від відповідальності**: Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критично важливої інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу.