# Модуль 08: Практичне використання Microsoft Foundry Local - Повний набір інструментів для розробників ## Огляд [Microsoft Foundry Local](https://learn.microsoft.com/azure/ai-foundry/foundry-local/) представляє нове покоління розробки AI на периферії, забезпечуючи розробників потужними інструментами для створення, розгортання та масштабування AI-додатків локально, зберігаючи безперервну інтеграцію з Azure AI Foundry. Цей модуль охоплює Foundry Local від встановлення до розробки складних агентів. **Основні технології:** - Microsoft Foundry Local CLI та SDK - Інтеграція з Azure AI Foundry - Локальне виконання моделей - Кешування та оптимізація моделей на пристрої - Архітектури на основі агентів ## Цілі навчання Після завершення цього модуля ви зможете: - **Опанувати Foundry Local**: Встановити, налаштувати та оптимізувати для розробки на Windows 11 - **Розгортати різноманітні моделі**: Виконувати phi, qwen, deepseek та GPT моделі локально за допомогою CLI команд - **Створювати рішення для виробництва**: Розробляти AI-додатки з використанням просунутого інженерії запитів та інтеграції даних - **Використовувати екосистему з відкритим кодом**: Інтегрувати моделі Hugging Face та внески спільноти - **Розробляти AI-агентів**: Створювати інтелектуальних агентів з можливостями обґрунтування та оркестрації - **Реалізовувати корпоративні шаблони**: Створювати модульні, масштабовані AI-рішення для розгортання у виробництві ## Структура сесій ### [1: Початок роботи з Foundry Local](./01.FoundryLocalSetup.md) **Фокус**: Встановлення, налаштування CLI, розгортання моделей та оптимізація апаратного забезпечення **Основні теми**: Повне встановлення • CLI команди • Кешування моделей • Апаратне прискорення • Розгортання кількох моделей **Приклад**: [Швидкий старт REST Chat](./samples/01/README.md) • [Інтеграція OpenAI SDK](./samples/02/README.md) • [Відкриття та тестування моделей](./samples/03/README.md) **Тривалість**: 2-3 години | **Рівень**: Початковий --- ### [2: Створення AI-рішень з Azure AI Foundry](./02.AzureAIFoundryIntegration.md) **Фокус**: Просунута інженерія запитів, інтеграція даних та підключення до хмари **Основні теми**: Інженерія запитів • Інтеграція даних • Робочі процеси Azure • Оптимізація продуктивності • Моніторинг **Приклад**: [Додаток Chainlit RAG](./samples/04/README.md) **Тривалість**: 2-3 години | **Рівень**: Середній --- ### [3: Моделі з відкритим кодом у Foundry Local](./03.OpenSourceModels.md) **Фокус**: Інтеграція Hugging Face, стратегії BYOM та моделі спільноти **Основні теми**: Інтеграція Hugging Face • Власні моделі • Інсайти Model Mondays • Внески спільноти • Вибір моделей **Приклад**: [Оркестрація кількох агентів](./samples/05/README.md) **Тривалість**: 2-3 години | **Рівень**: Середній --- ### [4: Дослідження передових моделей](./04.CuttingEdgeModels.md) **Фокус**: Порівняння LLMs та SLMs, реалізація EdgeAI та просунуті демонстрації **Основні теми**: Порівняння моделей • Інференція на периферії vs у хмарі • Phi + ONNX Runtime • Додаток Chainlit RAG • Оптимізація WebGPU **Приклад**: [Маршрутизатор моделей як інструментів](./samples/06/README.md) **Тривалість**: 3-4 години | **Рівень**: Просунутий --- ### [5: Швидке створення AI-агентів](./05.AIPoweredAgents.md) **Фокус**: Архітектури агентів, системні запити, обґрунтування та оркестрація **Основні теми**: Шаблони дизайну агентів • Інженерія системних запитів • Техніки обґрунтування • Системи з кількома агентами • Розгортання у виробництві **Приклад**: [Оркестрація кількох агентів](./samples/05/README.md) • [Система з кількома агентами](./samples/09/README.md) **Тривалість**: 3-4 години | **Рівень**: Просунутий --- ### [6: Foundry Local - Моделі як інструменти](./06.ModelsAsTools.md) **Фокус**: Модульні AI-рішення, масштабування для підприємств та шаблони для виробництва **Основні теми**: Моделі як інструменти • Розгортання на пристрої • Інтеграція SDK/API • Архітектури для підприємств • Стратегії масштабування **Приклад**: [Маршрутизатор моделей як інструментів](./samples/06/README.md) • [Фреймворк інструментів Foundry](./samples/10/README.md) **Тривалість**: 3-4 години | **Рівень**: Експерт --- ### [7: Шаблони прямої інтеграції API](./samples/07/README.md) **Фокус**: Чиста інтеграція REST API без залежностей SDK для максимального контролю **Основні теми**: Реалізація HTTP клієнта • Користувацька аутентифікація • Моніторинг стану моделей • Потокові відповіді • Обробка помилок у виробництві **Приклад**: [Клієнт прямого API](./samples/07/README.md) **Тривалість**: 2-3 години | **Рівень**: Середній --- ### [8: Рідний чат-додаток для Windows 11](./samples/08/README.md) **Фокус**: Створення сучасних рідних чат-додатків з інтеграцією Foundry Local **Основні теми**: Розробка Electron • Система дизайну Fluent • Рідна інтеграція Windows • Потокова передача в реальному часі • Дизайн інтерфейсу чату **Приклад**: [Чат-додаток для Windows 11](./samples/08/README.md) **Тривалість**: 3-4 години | **Рівень**: Просунутий --- ### [9: Складна оркестрація кількох агентів](./samples/09/README.md) **Фокус**: Координація агентів, делегування спеціалізованих завдань та спільні AI-робочі процеси **Основні теми**: Координація інтелектуальних агентів • Шаблони виклику функцій • Міжагентна комунікація • Оркестрація робочих процесів • Механізми забезпечення якості **Приклад**: [Система з кількома агентами](./samples/09/README.md) **Тривалість**: 4-5 годин | **Рівень**: Експерт --- ### [10: Foundry Local як фреймворк інструментів](./samples/10/README.md) **Фокус**: Архітектура, орієнтована на інструменти, для інтеграції Foundry Local у існуючі додатки та фреймворки **Основні теми**: Інтеграція LangChain • Функції Semantic Kernel • Фреймворки REST API • CLI інструменти • Інтеграція Jupyter • Шаблони розгортання у виробництві **Приклад**: [Фреймворк інструментів Foundry](./samples/10/README.md) **Тривалість**: 4-5 годин | **Рівень**: Експерт ## Попередні вимоги ### Системні вимоги - **Операційна система**: Windows 11 (22H2 або новіша) - **Пам'ять**: 16GB RAM (32GB рекомендовано для більших моделей) - **Сховище**: 50GB вільного місця для кешування моделей - **Апаратне забезпечення**: Рекомендовано пристрій з підтримкою NPU (Copilot+ PC), GPU необов'язковий - **Мережа**: Високошвидкісний інтернет для початкового завантаження моделей ### Середовище розробки - Visual Studio Code з розширенням AI Toolkit - Python 3.10+ та pip - Git для контролю версій - PowerShell або Command Prompt - Azure CLI (необов'язковий для інтеграції з хмарою) ### Знання - Базове розуміння концепцій AI/ML - Знання командного рядка - Основи програмування на Python - Концепції REST API - Базові знання про запити та виконання моделей ## Таймлайн модуля **Загальний орієнтовний час**: 30-38 годин | Сесія | Область фокусу | Приклади | Час | Складність | |-------|----------------|----------|------|------------| | 1 | Встановлення та основи | 01, 02, 03 | 2-3 години | Початковий | | 2 | AI-рішення | 04 | 2-3 години | Середній | | 3 | Відкритий код | 05 | 2-3 години | Середній | | 4 | Передові моделі | 06 | 3-4 години | Просунутий | | 5 | AI-агенти | 05, 09 | 3-4 години | Просунутий | | 6 | Інструменти для підприємств | 06, 10 | 3-4 години | Експерт | | 7 | Пряма інтеграція API | 07 | 2-3 години | Середній | | 8 | Чат-додаток для Windows 11 | 08 | 3-4 години | Просунутий | | 9 | Складна оркестрація | 09 | 4-5 годин | Експерт | | 10 | Фреймворк інструментів | 10 | 4-5 годин | Експерт | ## Основні ресурси **Офіційна документація:** - [Microsoft Foundry Local GitHub](https://github.com/microsoft/Foundry-Local) - Вихідний код та офіційні приклади - [Документація Azure AI Foundry](https://learn.microsoft.com/en-us/azure/ai-foundry/foundry-local/) - Повний посібник з налаштування та використання - [Серія Model Mondays](https://aka.ms/model-mondays) - Щотижневі огляди моделей та навчальні матеріали **Спільнота та підтримка:** - [Обговорення Foundry Local](https://github.com/microsoft/Foundry-Local/discussions) - Питання та відповіді спільноти, запити на функції - [Спільнота розробників Microsoft AI](https://techcommunity.microsoft.com/category/artificialintelligence) - Останні новини та найкращі практики ## Результати навчання Після завершення цього модуля ви будете готові до: ### Технічного освоєння - **Розгортання та управління**: Встановлення Foundry Local у середовищах розробки та виробництва - **Інтеграції моделей**: Робота з різноманітними сімействами моделей від Microsoft, Hugging Face та спільноти - **Створення додатків**: Розробка готових до виробництва AI-додатків з просунутими функціями та оптимізаціями - **Розробки агентів**: Реалізація складних AI-агентів з обґрунтуванням, логікою та інтеграцією інструментів ### Стратегічного розуміння - **Рішення щодо архітектури**: Прийняття обґрунтованих рішень між локальним та хмарним розгортанням - **Оптимізації продуктивності**: Оптимізація продуктивності виконання на різних апаратних конфігураціях - **Масштабування для підприємств**: Проектування додатків, які масштабуються від локальних прототипів до корпоративних розгортань - **Конфіденційності та безпеки**: Реалізація AI-рішень, що зберігають конфіденційність, з локальним виконанням ### Інноваційних можливостей - **Швидке прототипування**: Швидке створення та тестування концепцій AI-додатків за всіма 10 шаблонами - **Інтеграція спільноти**: Використання моделей з відкритим кодом та внесок у екосистему - **Просунуті шаблони**: Реалізація передових AI-шаблонів, включаючи RAG, агентів та інтеграцію інструментів - **Освоєння фреймворків**: Експертна інтеграція з LangChain, Semantic Kernel, Chainlit та Electron - **Розгортання у виробництві**: Масштабовані AI-рішення від локальних прототипів до корпоративних систем - **Розробка, готова до майбутнього**: Створення додатків, готових до нових AI-технологій та шаблонів ## Початок роботи 1. **Налаштування середовища**: Переконайтеся, що Windows 11 відповідає рекомендованим вимогам (див. Попередні вимоги) 2. **Встановіть Foundry Local**: Дотримуйтесь інструкцій у Сесії 1 для повного встановлення та налаштування 3. **Запустіть Приклад 01**: Почніть з базової інтеграції REST API для перевірки налаштувань 4. **Пройдіть через приклади**: Завершіть приклади 01-10 для повного освоєння ## Метрики успіху Відстежуйте свій прогрес через всі 10 комплексних прикладів: ### Базовий рівень (Приклади 01-03) - [ ] Успішно встановити та налаштувати Foundry Local - [ ] Завершити інтеграцію REST API (Приклад 01) - [ ] Реалізувати сумісність з OpenAI SDK (Приклад 02) - [ ] Виконати відкриття та тестування моделей (Приклад 03) ### Рівень додатків (Приклади 04-06) - [ ] Розгорнути та виконати щонайменше 4 різні сімейства моделей - [ ] Створити функціональний RAG чат-додаток (Приклад 04) - [ ] Реалізувати систему оркестрації кількох агентів (Приклад 05) - [ ] Реалізувати інтелектуальний маршрутизатор моделей (Приклад 06) ### Рівень просунутої інтеграції (Приклади 07-10) - [ ] Створити готовий до виробництва клієнт API (Приклад 07) - [ ] Розробити рідний чат-додаток для Windows 11 (Приклад 08) - [ ] Реалізувати складну систему з кількома агентами (Приклад 09) - [ ] Створити комплексний фреймворк інструментів (Приклад 10) ### Показники майстерності - [ ] Успішно запустити всі 10 прикладів без помилок - [ ] Налаштувати щонайменше 3 приклади для конкретних випадків використання - [ ] Розгорнути 2+ приклади у середовищах, схожих на виробничі - [ ] Внести покращення або розширення до коду прикладів - [ ] Інтегрувати шаблони Foundry Local у особисті/професійні проекти ## Швидкий старт - Усі 10 прикладів ### Налаштування середовища (Необхідно для всіх прикладів) Цей модуль представляє передові досягнення в розробці периферійного штучного інтелекту, поєднуючи корпоративні інструменти Microsoft із гнучкістю та інноваціями відкритого програмного забезпечення. Опановуючи Foundry Local через усі 10 детальних прикладів, ви станете лідером у розробці AI-додатків. **Повний навчальний шлях:** - **Основи** (Приклади 01-03): Інтеграція API та управління моделями - **Додатки** (Приклади 04-06): RAG, агенти та інтелектуальне маршрутизація - **Просунутий рівень** (Приклади 07-10): Виробничі фреймворки та корпоративна інтеграція Для інтеграції Azure OpenAI (Сесія 2) перегляньте README-файли окремих прикладів, щоб дізнатися про необхідні змінні середовища та налаштування версії API. --- **Відмова від відповідальності**: Цей документ був перекладений за допомогою сервісу автоматичного перекладу [Co-op Translator](https://github.com/Azure/co-op-translator). Хоча ми прагнемо до точності, будь ласка, майте на увазі, що автоматичні переклади можуть містити помилки або неточності. Оригінальний документ на його рідній мові слід вважати авторитетним джерелом. Для критичної інформації рекомендується професійний людський переклад. Ми не несемо відповідальності за будь-які непорозуміння або неправильні тлумачення, що виникають внаслідок використання цього перекладу.