[![英文](https://img.shields.io/badge/%E8%8B%B1%E6%96%87-English-blue)](./README-EN.md) [![下载](https://img.shields.io/github/downloads/Chenyme/Chenyme-AAVT/total.svg?style=flat-square&label=下载)](https://github.com/Chenyme/Chenyme-AAVT/releases) [![Latest Release](https://img.shields.io/github/v/release/Chenyme/Chenyme-AAVT.svg?style=flat-square)](https://github.com/Chenyme/Chenyme-AAVT/releases) ![PyPI - Version](https://img.shields.io/pypi/v/AAVT?logo=pypi) [![License](https://img.shields.io/github/license/Chenyme/Chenyme-AAVT.svg?style=flat-square)](https://github.com/Chenyme/Chenyme-AAVT/blob/main/LICENSE) [![群组](https://img.shields.io/badge/群组-Telegram-blue?logo=telegram)](https://t.me/+j8SNSwhS7xk1NTc9) ![Docker Image Version](https://img.shields.io/docker/v/chenyme/chenyme-aavt?logo=docker&color=blue&link=https%3A%2F%2Fhub.docker.com%2Flayers%2Fchenyme%2Fchenyme-aavt%2Fv0.9.0%2Fimages%2Fsha256-5f704a4a3aba20396ad0f3c94a1ffcd0b9d89d82a33aa1b16601fd7613a74e6c%3Fcontext%3Drepo) [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/Kirie233/Chenyme-AAVT/blob/main/AAVT.ipynb)

--- > [!NOTE] > 🌟 **如果本项目对您有帮助，记得 Star 🌟 支持一下吧~** > > 📝 **推荐识别时使用 Large 模型以获取更好的体验！由于正在备考，更新速度会放缓，感谢理解！** > > 📖 [**安装教程**](https://blog.chenyme.top/blog/aavt-install) | ❓ [ **常见问题**](https://blog.chenyme.top/blog/aavt-qa) | 💬 [ **电报群组**](https://t.me/+j8SNSwhS7xk1NTc9) > > ### 新项目：[ **Srtranslate**](https://github.com/chenyme/Srtranslate) | 官网：[srt.chenyme.com](https://srt.chenyme.com) > ### 体验更加专业智能、高效精确的srt字幕翻译！
## 项目介绍 **Chenyme-AAVT 全自动视频翻译项目** 致力于提供一个简便高效且免费的媒体识别与翻译自动化流程，帮助您快速完成音视频字幕的识别、翻译和处理等多种功能，当然目前项目已经不仅仅是帮您识别并翻译声音，还可以自动化生成营销图文、对字幕单独翻译。计划未来会基于现有基本功能继续加入更多有意思的工具，比如实时识别、口型校正、声音克隆、音色辨别等等，敬请期待！当前已支持的**基本**功能，非全部功能： - 【[音频识别](?tab=readme-ov-file#音频识别)】|【[视频识别](?tab=readme-ov-file#视频识别)】|【[图文博客](?tab=readme-ov-file#图文博客)】|【[字幕翻译](?tab=readme-ov-file#字幕翻译)】|【[声音模拟](?tab=readme-ov-file#声音模拟)】
![20240820210851.jpg](https://github.com/Chenyme/Chenyme-AAVT/blob/main/cache/public/picture/home.jpg)
## 项目亮点

👉 TODO | 待办事项

### 识别相关 - [x] 更换更快的Whisper项目 - [x] 支持本地模型加载 - [x] 支持个人微调Whisper模型 - [x] VAD辅助优化 - [x] 字词级断句优化 - [x] 更多的语种识别 - [ ] 音色辨别 - [ ] 实时语音翻译 ### 翻译相关 - [x] 翻译优化 - [x] 更多的语种翻译 - [x] 更多的翻译模型 - [x] 更多的翻译引擎 - [x] 支持本地大语言模型翻译 ### 视频相关 - [x] 个性化字幕 - [x] 更多字幕格式 - [x] 字幕预览、实时修改 - [ ] 自动化字幕文本校对 - [ ] 双字幕 - [ ] 视频中文配音 - [ ] 声音克隆 - [ ] 口型校对 #### 图文博客 - [x] 生成图文 - [ ] 更多写作风格 - [ ] 优化生成效率 - [ ] 提高成品率 ### 其他 - [x] AI助手 - [x] 视频预览

- 支持识别和翻译**多种语言** - 支持 **全流程本地化、免费化部署** - 支持对视频 **一键生成博客内容、营销图文** - 支持 **自动化翻译**、**二次修改字幕**、**预览视频** - 支持开启 **GPU 加速**、**VAD 辅助**、**FFmpeg 加速** - 支持使用 **ChatGPT**、**Claude**、**Gemini**、**DeepSeek** 等众多大模型翻译引擎
> [!WARNING] > ### 关于 dll 缺失的公告 > > 以下解决方法经过本人验证可有效解决，**麻烦给颗🌟Star吧**! > > > > #### 1. ❌ `fbgemm.dll` 缺失。此为 pytorch 对 win 的 mkl 文件构建错误，官方已在 2.4.1 Beta 版本中修正，请遇到后重新 Install.bat，并在菜单栏选择修复版本（2.4.1）修正 > > #### 2. ❌ `cudnn_ops_infer64_8.dll` 缺失，导致启用 GPU 失败。请前往 [Releases](https://github.com/Chenyme/Chenyme-AAVT/releases/tag/V0.9) 中下载 CUDA_dll.zip 压缩包解压到CUDA目录 `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\bin` 修复
## Windows 部署

👉 前置环境：Python、FFmpeg、CUDA 说明

### Python | 📖 [教程](https://blog.chenyme.top/blog/aavt-install#47a521d01156) - 💡 选择 Python > 3.8 的版本 - 前往 Python 官网下载安装程序 - 运行安装，在安装时请点击 ADD TO PATH 选项 ### FFMpeg | 📖 [教程](https://blog.chenyme.top/blog/aavt-install#1897915fc461) - 💡 若您不知道如何安装编译，请直接在项目Release中的下载 `Win` 版本，自带编译后的FFMpeg - 前往 FFMpeg 官网下载编译好的 Windows 版本 - 设置 FFmpeg 为环境变量 ### CUDA(CPU 可忽略) | 📖 [教程](https://blog.chenyme.top/blog/aavt-install#1faea2d7295f) - 💡 推荐使用版本为 CUDA11.8、12.1、12.4 - 前往 CUDA 官网下载 CUDA 安装程序 - 安装 CUDA ##

> ‼️ 请确保前置环境已准备好后再继续下面的步骤‼️ > > ### 1. 运行部署脚本 > - 前往 Release 页面下载 `Win` 的最新发行版（Win/Small） > - 运行 `1_Install.bat`，等待脚本检查，通过后根据界面内提示选择版本安装 > ### 2. 运行项目Web > - 运行 `2_WebUI.bat` > - 等待 WebUI 自动拉起，或输入网址 `localhost:8501` > - 项目验证密码 `chenymeaavt`（此为新版本的保护功能，可关闭）
## Mac OS 部署

👉 前置环境：Python、Brew、FFMpeg 说明

### Python - 选择 Python > 3.8 的版本 - 前往 Python 官网下载 PGK 安装包 - 运行安装，页面内选择标准安装 ### Brew - 💡 使用下面的命令进行一键安装安装 `brew` ``` /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ``` ### FFMpeg - 💡 使用下面的命令进行一键安装安装 `FFMpeg` ``` brew install FFMpeg ``` ##

> ‼️ 请确保前置环境已准备好后再继续下面的步骤‼️ > ### 1. 安装项目依赖 > - 前往 Release 页面下载 `Mac` 的最新发行版（Mac/Small） > ``` > cd Chenyme-AAVT > pip3 install -r requirements.txt > ``` > ### 2. 运行项目Web > ``` > streamlit run Chenyme-AAVT.py > ``` > - 等待 WebUI 自动拉起，或输入网址 `localhost:8501` > - 项目验证密码 `chenymeaavt`（此为新版本的保护功能，可关闭）
## Docker 部署 >![Docker Image Version](https://img.shields.io/docker/v/chenyme/chenyme-aavt?logo=docker&color=blue&link=https%3A%2F%2Fhub.docker.com%2Flayers%2Fchenyme%2Fchenyme-aavt%2Fv0.9.0%2Fimages%2Fsha256-5f704a4a3aba20396ad0f3c94a1ffcd0b9d89d82a33aa1b16601fd7613a74e6c%3Fcontext%3Drepo) > > 感谢 [@Eisaichen](https://github.com/Eisaichen) 协助构建此镜像 > ### docker > ``` > docker pull chenyme/chenyme-aavt:latest > ``` > - 完成后，输入 `<您的服务器IP>:8501` 访问 > - 项目验证密码 `chenymeaavt`（此为新版本的保护功能，可关闭） > ### docker-compose > ``` > git clone https://github.com/Chenyme/Chenyme-AAVT > cd Chenyme-AAVT > docker-compose up -d > ``` > - 完成后，输入 `<您的服务器IP>:8501` 访问 > - 项目验证密码 `chenymeaavt`（此为新版本的保护功能，可关闭）
## Linux 部署 > 💡此版本为 AAVT V0.8.6 的 Linux CUDA 12.1 Docker 版本，最新版本为 V0.9.0 > > 感谢 [@dhlsam](https://github.com/dhlsam) 提供此版本 > > 具体使用方法，请查阅：📖 [issues/36](https://github.com/Chenyme/Chenyme-AAVT/issues/36#issuecomment-2284331590)
## Google Colab 部署 > [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/Kirie233/Chenyme-AAVT/blob/main/AAVT.ipynb) > > 感谢 [@Kirie233](https://github.com/Kirie233) 提供 Colab 版本 > > 具体使用方法，请查阅：📖 [AAVT.ipynb](https://github.com/Chenyme/Chenyme-AAVT/blob/main/AAVT.ipynb)
## 感谢项目的贡献者 [![][github-contrib-shield]][github-contrib-link] [github-contrib-shield]: https://contrib.rocks/image?repo=Chenyme/Chenyme-AAVT [github-contrib-link]: https://github.com/Chenyme/Chenyme-AAVT/graphs/contributors
## Star History [![Star History Chart](https://api.star-history.com/svg?repos=Chenyme/Chenyme-AAVT&type=Timeline)](https://star-history.com/#Chenyme/Chenyme-AAVT&Timeline)
### 主页BOT
![11](https://github.com/Chenyme/Chenyme-AAVT/blob/main/cache/public/picture/bot.png)
### 部分设置
![12](https://github.com/Chenyme/Chenyme-AAVT/blob/main/cache/public/picture/setting.png)
### 音频识别
![13](https://github.com/Chenyme/Chenyme-AAVT/blob/main/cache/public/picture/audio.png)
### 视频识别
![14](https://github.com/Chenyme/Chenyme-AAVT/blob/main/cache/public/picture/video.png)
### 图文博客
![15](https://github.com/Chenyme/Chenyme-AAVT/blob/main/cache/public/picture/blog.png)
### 字幕翻译
![16](https://github.com/Chenyme/Chenyme-AAVT/blob/main/cache/public/picture/srt.png)
### 声音模拟
![17](https://github.com/Chenyme/Chenyme-AAVT/blob/main/cache/public/picture/opentts.png)