# Модуль 08: Практическое знакомство с Microsoft Foundry Local - Полный набор инструментов разработчика ## Обзор [Microsoft Foundry Local](https://learn.microsoft.com/azure/ai-foundry/foundry-local/) представляет собой новое поколение разработки Edge AI, предоставляя разработчикам мощные инструменты для создания, развертывания и масштабирования AI-приложений локально с сохранением бесшовной интеграции с Azure AI Foundry. Этот модуль охватывает Foundry Local от установки до разработки продвинутых агентов. **Ключевые технологии:** - CLI и SDK Microsoft Foundry Local - Интеграция с Azure AI Foundry - Локальное выполнение моделей - Кэширование и оптимизация моделей на устройстве - Архитектуры на основе агентов ## Цели обучения После завершения этого модуля вы сможете: - **Освоить Foundry Local**: Установить, настроить и оптимизировать для разработки на Windows 11 - **Развернуть различные модели**: Запускать модели phi, qwen, deepseek и GPT локально с помощью CLI-команд - **Создавать производственные решения**: Разрабатывать AI-приложения с использованием продвинутой инженерии запросов и интеграции данных - **Использовать экосистему с открытым исходным кодом**: Интегрировать модели Hugging Face и вклады сообщества - **Разрабатывать AI-агентов**: Создавать интеллектуальных агентов с возможностями привязки и оркестрации - **Реализовывать корпоративные шаблоны**: Создавать модульные, масштабируемые AI-решения для производственного развертывания ## Структура сессий ### [1: Начало работы с Foundry Local](./01.FoundryLocalSetup.md) **Фокус**: Установка, настройка CLI, развертывание моделей и оптимизация оборудования **Ключевые темы**: Полная установка • Команды CLI • Кэширование моделей • Аппаратное ускорение • Развертывание нескольких моделей **Пример**: [Быстрый старт REST Chat](./samples/01/README.md) • [Интеграция OpenAI SDK](./samples/02/README.md) • [Обнаружение и тестирование моделей](./samples/03/README.md) **Продолжительность**: 2-3 часа | **Уровень**: Начальный --- ### [2: Создание AI-решений с Azure AI Foundry](./02.AzureAIFoundryIntegration.md) **Фокус**: Продвинутая инженерия запросов, интеграция данных и подключение к облаку **Ключевые темы**: Инженерия запросов • Интеграция данных • Рабочие процессы Azure • Оптимизация производительности • Мониторинг **Пример**: [Приложение Chainlit RAG](./samples/04/README.md) **Продолжительность**: 2-3 часа | **Уровень**: Средний --- ### [3: Модели с открытым исходным кодом в Foundry Local](./03.OpenSourceModels.md) **Фокус**: Интеграция Hugging Face, стратегии BYOM и модели сообщества **Ключевые темы**: Интеграция Hugging Face • Bring-your-own-model • Инсайты Model Mondays • Вклады сообщества • Выбор моделей **Пример**: [Оркестрация нескольких агентов](./samples/05/README.md) **Продолжительность**: 2-3 часа | **Уровень**: Средний --- ### [4: Исследование передовых моделей](./04.CuttingEdgeModels.md) **Фокус**: Сравнение LLM и SLM, реализация EdgeAI и продвинутые демонстрации **Ключевые темы**: Сравнение моделей • Локальное vs облачное выполнение • Phi + ONNX Runtime • Приложение Chainlit RAG • Оптимизация WebGPU **Пример**: [Маршрутизатор моделей как инструментов](./samples/06/README.md) **Продолжительность**: 3-4 часа | **Уровень**: Продвинутый --- ### [5: Быстрое создание AI-агентов](./05.AIPoweredAgents.md) **Фокус**: Архитектуры агентов, системные запросы, привязка и оркестрация **Ключевые темы**: Шаблоны проектирования агентов • Инженерия системных запросов • Техники привязки • Системы с несколькими агентами • Производственное развертывание **Пример**: [Оркестрация нескольких агентов](./samples/05/README.md) • [Продвинутая система с несколькими агентами](./samples/09/README.md) **Продолжительность**: 3-4 часа | **Уровень**: Продвинутый --- ### [6: Foundry Local - Модели как инструменты](./06.ModelsAsTools.md) **Фокус**: Модульные AI-решения, масштабирование в корпоративной среде и производственные шаблоны **Ключевые темы**: Модели как инструменты • Локальное развертывание • Интеграция SDK/API • Корпоративные архитектуры • Стратегии масштабирования **Пример**: [Маршрутизатор моделей как инструментов](./samples/06/README.md) • [Фреймворк инструментов Foundry](./samples/10/README.md) **Продолжительность**: 3-4 часа | **Уровень**: Эксперт --- ### [7: Шаблоны прямой интеграции API](./samples/07/README.md) **Фокус**: Чистая интеграция REST API без зависимостей от SDK для максимального контроля **Ключевые темы**: Реализация HTTP-клиента • Пользовательская аутентификация • Мониторинг состояния моделей • Потоковые ответы • Обработка ошибок в производственной среде **Пример**: [Прямой клиент API](./samples/07/README.md) **Продолжительность**: 2-3 часа | **Уровень**: Средний --- ### [8: Нативное приложение чата для Windows 11](./samples/08/README.md) **Фокус**: Создание современных нативных приложений чата с интеграцией Foundry Local **Ключевые темы**: Разработка на Electron • Fluent Design System • Нативная интеграция Windows • Потоковая передача в реальном времени • Дизайн интерфейса чата **Пример**: [Приложение чата для Windows 11](./samples/08/README.md) **Продолжительность**: 3-4 часа | **Уровень**: Продвинутый --- ### [9: Продвинутая оркестрация нескольких агентов](./samples/09/README.md) **Фокус**: Сложная координация агентов, специализированное делегирование задач и совместные AI-рабочие процессы **Ключевые темы**: Координация интеллектуальных агентов • Шаблоны вызова функций • Межагентная коммуникация • Оркестрация рабочих процессов • Механизмы обеспечения качества **Пример**: [Продвинутая система с несколькими агентами](./samples/09/README.md) **Продолжительность**: 4-5 часов | **Уровень**: Эксперт --- ### [10: Foundry Local как фреймворк инструментов](./samples/10/README.md) **Фокус**: Архитектура, ориентированная на инструменты, для интеграции Foundry Local в существующие приложения и фреймворки **Ключевые темы**: Интеграция LangChain • Функции Semantic Kernel • Фреймворки REST API • CLI-инструменты • Интеграция Jupyter • Шаблоны производственного развертывания **Пример**: [Фреймворк инструментов Foundry](./samples/10/README.md) **Продолжительность**: 4-5 часов | **Уровень**: Эксперт ## Предварительные требования ### Системные требования - **Операционная система**: Windows 11 (22H2 или новее) - **Память**: 16 ГБ ОЗУ (32 ГБ рекомендуется для больших моделей) - **Хранилище**: 50 ГБ свободного места для кэширования моделей - **Оборудование**: Устройство с поддержкой NPU рекомендуется (Copilot+ PC), GPU опционально - **Сеть**: Высокоскоростной интернет для первоначальной загрузки моделей ### Среда разработки - Visual Studio Code с расширением AI Toolkit - Python 3.10+ и pip - Git для контроля версий - PowerShell или командная строка - Azure CLI (опционально для облачной интеграции) ### Знания - Базовое понимание концепций AI/ML - Знание командной строки - Основы программирования на Python - Концепции REST API - Базовые знания о запросах и выполнении моделей ## Таймлайн модуля **Общее время**: 30-38 часов | Сессия | Область фокуса | Примеры | Время | Сложность | |--------|----------------|---------|-------|-----------| | 1 | Установка и основы | 01, 02, 03 | 2-3 часа | Начальный | | 2 | AI-решения | 04 | 2-3 часа | Средний | | 3 | Открытый исходный код | 05 | 2-3 часа | Средний | | 4 | Передовые модели | 06 | 3-4 часа | Продвинутый | | 5 | AI-агенты | 05, 09 | 3-4 часа | Продвинутый | | 6 | Корпоративные инструменты | 06, 10 | 3-4 часа | Эксперт | | 7 | Прямая интеграция API | 07 | 2-3 часа | Средний | | 8 | Приложение чата для Windows 11 | 08 | 3-4 часа | Продвинутый | | 9 | Продвинутая оркестрация | 09 | 4-5 часов | Эксперт | | 10 | Фреймворк инструментов | 10 | 4-5 часов | Эксперт | ## Основные ресурсы **Официальная документация:** - [Microsoft Foundry Local GitHub](https://github.com/microsoft/Foundry-Local) - Исходный код и официальные примеры - [Документация Azure AI Foundry](https://learn.microsoft.com/en-us/azure/ai-foundry/foundry-local/) - Полное руководство по установке и использованию - [Серия Model Mondays](https://aka.ms/model-mondays) - Еженедельные обзоры моделей и учебные материалы **Сообщество и поддержка:** - [Обсуждения Foundry Local](https://github.com/microsoft/Foundry-Local/discussions) - Вопросы и ответы сообщества, запросы функций - [Сообщество разработчиков Microsoft AI](https://techcommunity.microsoft.com/category/artificialintelligence) - Последние новости и лучшие практики ## Результаты обучения После завершения этого модуля вы будете готовы: ### Техническое мастерство - **Развертывать и управлять**: Установками Foundry Local в средах разработки и производства - **Интегрировать модели**: Работать с различными семействами моделей от Microsoft, Hugging Face и сообщества - **Создавать приложения**: Разрабатывать готовые к производству AI-приложения с продвинутыми функциями и оптимизациями - **Разрабатывать агентов**: Реализовывать сложных AI-агентов с привязкой, рассуждением и интеграцией инструментов ### Стратегическое понимание - **Решения по архитектуре**: Делать обоснованный выбор между локальным и облачным развертыванием - **Оптимизация производительности**: Оптимизировать выполнение моделей на различных конфигурациях оборудования - **Масштабирование в корпоративной среде**: Проектировать приложения, которые масштабируются от локальных прототипов до корпоративных развертываний - **Конфиденциальность и безопасность**: Реализовывать AI-решения с сохранением конфиденциальности через локальное выполнение ### Инновационные возможности - **Быстрое прототипирование**: Быстро создавать и тестировать концепции AI-приложений на основе всех 10 шаблонов - **Интеграция сообщества**: Использовать модели с открытым исходным кодом и вносить вклад в экосистему - **Продвинутые шаблоны**: Реализовывать передовые AI-шаблоны, включая RAG, агентов и интеграцию инструментов - **Мастерство фреймворков**: Экспертная интеграция с LangChain, Semantic Kernel, Chainlit и Electron - **Производственное развертывание**: Развертывать масштабируемые AI-решения от локальных прототипов до корпоративных систем - **Разработка с учетом будущего**: Создавать приложения, готовые к новым AI-технологиям и шаблонам ## Начало работы 1. **Настройка среды**: Убедитесь, что у вас Windows 11 с рекомендованным оборудованием (см. предварительные требования) 2. **Установите Foundry Local**: Следуйте инструкциям в Сессии 1 для полной установки и настройки 3. **Запустите Пример 01**: Начните с базовой интеграции REST API, чтобы проверить настройку 4. **Пройдите через примеры**: Завершите примеры 01-10 для полного освоения ## Метрики успеха Отслеживайте свой прогресс через все 10 комплексных примеров: ### Уровень основы (Примеры 01-03) - [ ] Успешно установить и настроить Foundry Local - [ ] Завершить интеграцию REST API (Пример 01) - [ ] Реализовать совместимость с OpenAI SDK (Пример 02) - [ ] Провести обнаружение и тестирование моделей (Пример 03) ### Уровень приложений (Примеры 04-06) - [ ] Развернуть и запустить как минимум 4 различных семейства моделей - [ ] Создать функциональное приложение RAG-чата (Пример 04) - [ ] Создать систему оркестрации нескольких агентов (Пример 05) - [ ] Реализовать интеллектуальный маршрутизатор моделей (Пример 06) ### Уровень продвинутой интеграции (Примеры 07-10) - [ ] Создать готовый к производству клиент API (Пример 07) - [ ] Разработать нативное приложение чата для Windows 11 (Пример 08) - [ ] Реализовать продвинутую систему с несколькими агентами (Пример 09) - [ ] Создать комплексный фреймворк инструментов (Пример 10) ### Индикаторы мастерства - [ ] Успешно запустить все 10 примеров без ошибок - [ ] Настроить как минимум 3 примера для конкретных случаев использования - [ ] Развернуть 2+ примера в производственных средах - [ ] Внести улучшения или расширения в код примеров - [ ] Интегрировать шаблоны Foundry Local в личные/профессиональные проекты ## Краткое руководство - Все 10 примеров ### Настройка среды (Требуется для всех примеров) ```powershell # 1. Clone and navigate to Module08 cd Module08 # 2. Create Python virtual environment py -m venv .venv .\.venv\Scripts\activate # 3. Install base dependencies pip install -r requirements.txt # 4. Install Foundry Local (if not already installed) winget install Microsoft.FoundryLocal # 5. Verify Foundry Local installation foundry --version foundry model list ``` ### Основные примеры (01-06) **Пример 01: Быстрый старт REST Chat** ```powershell # Start Foundry Local service foundry model run phi-4-mini # Run REST chat demo python samples/01/chat_quickstart.py ``` **Пример 02: Интеграция OpenAI SDK** ```powershell # Ensure model is running foundry status # Run SDK demo python samples/02/sdk_quickstart.py ``` **Пример 03: Обнаружение и тестирование моделей** ```powershell # Run comprehensive model testing samples/03/list_and_bench.cmd # Or run individual components foundry model list --available foundry model download qwen2.5-0.5b foundry model benchmark phi-4-mini ``` **Пример 04: Приложение Chainlit RAG** ```powershell # Install Chainlit dependencies pip install chainlit langchain chromadb # Start RAG chat application chainlit run samples/04/app.py -w # Opens browser at http://localhost:8000 ``` **Пример 05: Оркестрация нескольких агентов** ```powershell # Run agent coordinator demo python -m samples.05.agents.coordinator # Run specific agent examples python samples/05/examples/specialists_demo.py ``` **Пример 06: Маршрутизатор моделей как инструментов** ```powershell # Configure environment set BASE_URL=http://localhost:8000 set GENERAL_MODEL=phi-4-mini set CODE_MODEL=qwen2.5-7b # Run intelligent router python samples/06/router.py "Analyze this Python code for performance issues" ``` ### Продвинутые примеры интеграции (07-10) **Пример 07: Прямой клиент API** ```powershell # Navigate to sample directory cd samples/07 # Install additional dependencies pip install -r requirements.txt # Run basic API examples python examples/basic_usage.py # Try streaming responses python examples/streaming.py # Test production patterns python examples/production.py ``` **Пример 08: Приложение чата для Windows 11** ```powershell # Navigate to sample directory cd samples/08 # Install Node.js dependencies npm install # Start Electron application npm start # Or build for production npm run build ``` **Пример 09: Продвинутая система с несколькими агентами** ```powershell # Navigate to sample directory cd samples/09 # Install agent system dependencies pip install -r requirements.txt # Run basic coordination example python examples/basic_coordination.py # Try complex workflow python examples/complex_workflow.py # Interactive agent demo python examples/interactive_demo.py ``` **Пример 10: Фреймворк инструментов Foundry** ```powershell # Navigate to sample directory cd samples/10 # Install framework dependencies pip install -r requirements.txt # Run basic tools demo python examples/basic_tools.py # Start REST API server python examples/rest_api_server.py # API available at http://localhost:8080 # Try CLI application python examples/cli_application.py --help # Launch Jupyter notebook jupyter notebook examples/jupyter_notebook.ipynb # Test LangChain integration python examples/langchain_demo.py ``` ### Устранение распространенных проблем **Ошибки подключения Foundry Local** ```powershell # Check service status foundry status # Restart if needed foundry restart # Verify endpoint accessibility curl http://localhost:5273/v1/models ``` **Проблемы с загрузкой моделей** ```powershell # Check available models foundry model list --cached # Download missing models foundry model download phi-4-mini foundry model download qwen2.5-0.5b # Force reload if needed foundry model unload --all foundry model run phi-4-mini ``` **Проблемы с зависимостями** ```powershell # Upgrade pip and reinstall python -m pip install --upgrade pip pip install -r requirements.txt --force-reinstall # For Node.js samples npm cache clean --force npm install ``` ## Резюме Этот модуль представляет собой передовой уровень разработки Edge AI, объединяя корпоративные инструменты Microsoft с гибкостью и инновациями экосистемы с открытым исходным кодом. Освоив Foundry Local через все 10 подробных примеров, вы окажетесь на передовой разработки приложений с искусственным интеллектом. **Полный учебный путь:** - **Основы** (Примеры 01-03): Интеграция API и управление моделями - **Приложения** (Примеры 04-06): RAG, агенты и интеллектуальная маршрутизация - **Продвинутый уровень** (Примеры 07-10): Производственные фреймворки и корпоративная интеграция Для интеграции с Azure OpenAI (Сессия 2) ознакомьтесь с файлами README отдельных примеров, чтобы узнать о необходимых переменных окружения и настройках версии API. --- **Отказ от ответственности**: Этот документ был переведен с помощью сервиса автоматического перевода [Co-op Translator](https://github.com/Azure/co-op-translator). Несмотря на наши усилия обеспечить точность, автоматические переводы могут содержать ошибки или неточности. Оригинальный документ на его родном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется профессиональный перевод человеком. Мы не несем ответственности за любые недоразумения или неправильные интерпретации, возникшие в результате использования данного перевода.