# **EVA OS — 面向新一代硬件的实时多模态AIOS** > ⚡ Real-time · 📡 WebRTC · 🎙️ Multi-Voice · 🧠 EVA-flash · 🔌 Embedded Ready > > 多模态交互赋能万物智联 · 让任何设备即刻升级为实时多模态智能交互终端 ![Image](https://github.com/user-attachments/assets/bae2c5f6-cc00-4c0a-a1a3-3ad875c726c0) ## 🚀 里程碑更新 | Latest Updates **[2026-03-02] EVA OS v1.0.3 发布** * **✨ 体验优化**: 多项用户体验问题修复与优化 - 🔗 修复了某些分享的 Solution 无法打开的问题 - 🎬 修复了开启虚拟形象时语音合成不完整的问题 **[2026-01-23] EVA OS v1.0.2 发布** * **🚀 体验升级**: 增强了模型语音识别和语音合成能力，识别更准，响应更快 * **🗣️ 新增AI助手**: 新增口译助手、方言聊天搭子多个内置Agent * **🛡️ 沉浸式模式**: 内置Agent支持模式接管，明确退出指令后才会退出 * **📍 位置自动感知**: 使用高德地图MCP时上报地理位置信息（需授权） **[2025-12-26] EVA OS v1.0.1 发布** * **🌐 Python SDK**: 我们提供了一个python SDK和example，端侧开发更容易！ * **🛠️ 自定义MCP工具**: 用户可以配置任意的mcp server，solution更智能 * **🔑 一键分享**: 一键分享你的solution给你的朋友们，全功能试用，你的朋友无需登录 **[2025-12-07] 重磅发布 · EVA OS v1.0.0 正式上线！** * **🎧 Full Duplex/全双工交互突破**：毫秒级响应延迟，支持对话中随时插话，还原真人交流体验 * **🛠️ MCP Tools/MCP工具矩阵**：内置天气查询、全域搜索、智能地图等实用工具集，开箱即用 * **🎙️ Multi-Voice TTS/多音色TTS引擎**：新增10+拟人化音色（含情感音、专业播报音），Solution内一键切换 * **🧠 Agent Workflow/多Agent协作系统**：实现跨能力协同，支持古诗创作、童话生成等复杂场景闭环 * **🔑 SDK Release/全端SDK开源**：iOS & Android端侧SDK完整开放，无门槛接入设备生态 * **🌐 LiveKit深度优化**：双工通话超低延迟 ## 🔮 关于EVA OS · 核心定位 EVA OS 是专为新一代AI硬件打造的**开源·多模态·低延迟**实时AI Agent引擎，深度适配移动端、IoT设备、嵌入式终端等全场景硬件，打破“设备智能”与“用户体验”的壁垒。通过EVA平台，开发者可快速创建专属支持实时多模态交互的Solution（AI Agent），凭借唯一API Key即可实现“一次开发·全设备适配”，让任意硬件秒变“具备实时多模态交互、Agent协同执行与场景记忆能力的硬件智能中枢具备实时多模态交互、Agent协同执行与场景记忆能力的‘硬件大脑’”。 > 核心权益：自研EVA-flash大模型永久免费 | 移动端SDK100%开源 | ESP32/RK/MCU嵌入式SDK即将开放 ![Image](https://github.com/user-attachments/assets/3c9e0fbc-d299-4e25-852c-c3801338302e) ## **🧠 EVA OS的构建愿景** 我们认为： * AI基础模型只是“脑细胞” * AI硬件更需要“神经系统” * **EVA OS愿成为新一代硬件的“神经系统”** ![Image](https://github.com/user-attachments/assets/f34bef22-a208-4e21-8a8c-1e4d2a2e2868) ### **AIOS（AI Operating System）** 被定义为“新一代AI硬件的神经系统” * **交互层 (Interaction)：**从**单模态**转向**多模态**。这意味着系统不再局限于单一的交互方式（如仅文字或仅语音），而是能够同时处理和理解多种输入形式（如文字、语音、图像、视频等），使人机交互更加自然和丰富。同时支持随时插话、语音中断、实时响应，让 AI“像人一样对话”。 [▶️ 点击快速观看高清交互演示视频](https://www.bilibili.com/video/BV1sV2vBWE8L/) https://github.com/user-attachments/assets/ae7966ae-fdc4-460f-bfd3-482b544b8288 * **记忆层(Memory)：**从**文本**记忆转向**多模态**记忆（能记住图像、声音等不仅仅是文字的信息）。从**存储型**记忆进阶**参数化**记忆。记忆不再仅仅是数据库里的静态存储，而是融入到模型的参数或动态处理中，使得信息的调用和理解更加深层和智能。 [▶️ 点击快速观看高清记忆演示视频](https://www.bilibili.com/video/BV11V2vBWEBE/) https://github.com/user-attachments/assets/d7b89302-61b1-43b5-9dad-13d28a420b2d * **执行层 (Execution)：** 从**简单接口调用迈向复杂推理**。系统不再是简单地执行预设的命令或API调用，而是具备了逻辑思考能力，能够处理复杂的任务，进行推理并解决更难的问题。 [▶️ 点击快速观看高清执行演示视频](https://www.bilibili.com/video/BV1sV2vBWE6M/) https://github.com/user-attachments/assets/00f88f5a-9825-49f0-a429-ebfe5a78cd1b * **形象层 (Persona/Representation)：**从**编程表达迈向模型动态反馈**。AI的“形象”或表现方式不再是死板的代码设定，而是基于大模型的动态反馈生成的。这意味着AI的表现将更加灵活、拟人化，能够根据情境实时调整反馈。 [▶️ 点击快速观看高清数字形象演示视频](https://www.bilibili.com/video/BV1xV2vBWEcR/) https://github.com/user-attachments/assets/37d6d325-2916-4942-ac62-8ca6bcb1c3bc ## **✨ EVA OS 1.0特点** ### ⚡ 硬核优势 · 定义AI OS级硬件交互新范式 #### 🧠 EVA-flash：硬件友好型实时大模型 * 流式推理架构，响应延迟低至300ms级 * 原生支持语音、视觉、文本多模态输入输出 * 模型轻量化优化，适配中低端硬件算力 #### 📱 全栈开源SDK · 无门槛接入 * iOS/Android SDK完整开源，含详细接入Demo * ESP32/RK/MCU嵌入式SDK进入最终测试阶段 * 提供IoT/智能玩具/音箱等垂直场景最佳实践 #### 😲 数字人虚机（Avatar） * 实时唇形同步 * 默认提供多种虚机形象 * 即将开放用户自定义人物建模 #### 🔊多音色音视频交互系统 * 10+拟人化音色可选，支持情感动态调节 * 全双工通信技术，支持对话中途自然插话 * 智能自动应答+自定义开场问候，适配不同场景 #### 🌐 WebRTC全域互联 · 超低延迟 * 实时音视频流传输 * 满血双工模式，告别“等待应答”的交互断层 #### 🧩 高可配AI Agent框架 * 自定义Prompt模板，快速适配教育、家居、办公等场景 * 多Agent智能路由，复杂任务自动分配最优处理单元 * 内置MCP工具集，满足个性化功能需求 #### 🌍 生态矩阵 · 硬件AI的全场景覆盖 * 统一Solution API Key：适配主流硬件 * 全链路资源开放：端侧SDK+示例工程+开发文档，降低开发门槛 * 【即将上线】：提供嵌入式 SDK、端云协同接口、具身智能接口 --- ## **🚀 快速开始** **1️⃣ 注册 EVA平台账号** 访问：**https://eva.autoarkai.com** 创建： * Solution * 配置音色、Prompt、Tools、Agent * 获取 API Key **2️⃣ 使用 API Key 获取 LiveKit Token** 参考移动端 SDK 中的示例： [eva-client.ts](https://github.com/AutoArk/EVA-OS/blob/main/eva-mobile/README-zh.md#3-%E5%8F%82%E8%80%83%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0) **3️⃣ 客户端连接示例** 参考React Native示例： [React Native示例文档](https://github.com/AutoArk/EVA-OS/blob/main/eva-mobile/README-zh.md#3-%E5%8F%82%E8%80%83%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0) ## **🗺️ Roadmap** ### **✅ 已实现** * 🎧 实时双工音视频通话 * ⚡ EVA-flash 实时多模态大模型 * 🧩 Solution（AI Agent）系统 * 🔑 API Key 设备端接入 * 📱 iOS & Android SDK 全开源 * 🛠️ 内置多种 MCP Tools ### 🚀 即将上线 * 🔌 嵌入式SDK：ESP32/RK/MCU硬件级深度适配 * ☁️ 端云协同：云端算力调度+设备端指令精准下发 * 🧠 智能记忆系统：设备级短期交互记忆+长期偏好记忆 * 🔧 MCP工具扩展：开放第三方工具接入接口 * 🎭 自定义数字人：支持照片生成专属Avatar * 🏢 企业级能力：多模型混合部署+高并发承载方案 --- ## **🤝 加入 EVA 开源生态** ### 加入开源生态 · 共筑AI OS硬件新生态 EVA愿景：赋能每一台设备，觉醒具备自主交互、执行与记忆的硬件级AI中枢能力欢迎： * App 开发者 * IoT / 玩具 / 智能家居 / 机器人 * 嵌入式开发者（ESP32 / RK / STM32） * DIY 爱好者你可以贡献： * PR（优化移动端 SDK） * 嵌入式接入示例 * 教程 / 文档 * 新语言 SDK * 设备端 Demo * Issue / 需求 **让我们携手，构建最开放、最完整的实时多模态AI硬件生态！** ## 📄 License EVA OS is released under the MIT License. This means you are free to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the software, as long as you include the original copyright and permission notice in any copies or substantial portions ## ⚡ Powered by ![Powered by](https://github.com/user-attachments/assets/7fcfd112-f14c-4356-9345-98761776bc95) ## Star History [![Star History Chart](https://api.star-history.com/svg?repos=AutoArk/EVA-OS&type=date&legend=top-left)](https://www.star-history.com/#AutoArk/EVA-OS&type=date&legend=top-left)