。我们后面将准备再训一个英语的嵌入模型。
[2023-06-07] 最近很多精力都在做 [Chat凉宫春日](https://github.com/LC1332/Chat-Haruhi-Suzumiya), 可以点这个体验 ,这个项目还在持续招人, [欢迎联系](https://github.com/LC1332/Prophet-Andrew-Ng/blob/main/Hiring.md)
## 子项目一览
[2023-05-06] 升级了数据集批量翻译的脚本
[2023-04-27] 尝试翻译了一下斯坦福25个Agents生成的Generative Agents的工作。[代码仓库](https://github.com/LC1332/Chinese-generative-agents)，colab链接
[2023-4-16] [骆驼嵌入](https://github.com/LC1332/Luotuo-Text-Embedding) 代码已经发布，可以用这个colab链接体验 可支持文本可视化，聚类，模糊搜索等应用
## 快速上手
| | Colab链接 | 细节 |
| --- | --- | :--- |
|Chat凉宫春日(图文)|| 能够根据台词搜索图片的gradio版本 |
|Chat凉宫春日|| 李鲁鲁最早开发的gradio Chat凉宫春日 |
| 骆驼先知 | | 骆驼先知的Gradio交互版本 |
| 骆驼QA | | 骆驼QA的0.1模型，基于一段给定文本做问答 |
| 骆驼嵌入(小) | | LuotuoBERT 文本可视化 聚类 搜索 |
| 驼铃C 文本摘要| | 基于GLM-6B的文本摘要模型 |
| 批量翻译 | | 利用GPT接口对数据集进行批量翻译 |
| 骆驼RPG | | 一个斯坦福35个Agents生成的中文版 |
| 驼铃B Chat哈利波特 | - | [Chat哈利波特的初步汇报](https://github.com/LC1332/CamelBell-Chinese-LoRA/blob/main/data/HarryPotter/ShortReport.md) |
| 驼铃A | | 通过80条语料给GLM-6B简易洗脑 |
| 骆驼0.3 | | 骆驼0.3的验证代码 |
| 骆驼说 | | 一个用Gradio写的交互对话 |
| 骆驼说(GLM) | | 中文文本摘要的Gradio交互界面 |
## 项目概览
让我来用时间顺序介绍整个骆驼项目的起源和发展。
在2023年3月20日，李鲁鲁老师实践了一下[Alpaca-Lora](https://github.com/tloen/alpaca-lora)的项目。
于是在3月21日的早晨，李鲁鲁在github上反查使用了LLaMATokenizer的代码，这个时候我们找到了[Japanese-Alpaca-LoRA](https://github.com/masa3141/japanese-alpaca-lora)项目。于是我们很快意识到，也可以用同样的方法尝试用中文去tuning LLaMA的模型。
于是在简短的讨论后，我们建立了Chinese-alpaca-lora这个项目，并且在当天就上传了对应的模型和demo。在这个时代，人们需要自己传播自己的工作，所以李鲁鲁在知乎写了第一篇关于骆驼的文章[【开源GPT】三位华人小哥开源中文语言模型“骆驼”，单卡即可完成训练部署，花费几百训练自己的中文聊天模型](https://zhuanlan.zhihu.com/p/615968438)
 |
Luotuo 骆驼Luotuo-Vanilla是骆驼项目的第一个github仓库, 它是在LLaMA-7B上进行微调的。骆驼项目的初始目标，是研究使用跨语言数据在进行微调时，大语言模型发生的相关现象。 |
一个使用Gradio搭建的交互界面
我们还在完善骆驼1.0的训练数据和修复bug，并且在后续的版本中，我们将研究如何修复骆驼的Tokenizer。
骆驼0.3 的输出样例
```
Input: 中国的首都在哪里？
Luotuo-Output: 中国的首都是北京。
```
```
Input: 华中师范大学在哪里
Luotuo-0.1-Output: 华中师范大学位于北京
Luotuo-0.3-Output: 华中师范大学在武汉市。
```
 |
Cambell 驼铃如果你希望模型在中文上有更好的表现，建议使用 CamelBell(驼铃), 这个项目在中文基模型Chat-GLM-6B的基础上继续使用中文语料进行训练。 |
CamelBell-C的输出样例
```
Instruction: 请帮我总结以下内容:
Input:
北京时间2月13日凌晨,2023年ATP250达拉斯站男单决赛。中国球员吴易昺先输一盘后挽救4个赛点并兑现第5个冠军点,最终以6(4)-7/7-6(3)/7-6(12)逆转惊险击败赛会5号种子、美国大炮伊斯内尔,就此改写历史,成为公开赛年代首位夺得ATP巡回赛男单冠军的中国大陆球员,并创造中国大陆球员的男单最高排名!
第一盘比赛,吴易昺在第12局错过了一个盘点,并最终抢七惜败;第二盘则挽救一个赛点后抢七局3-0领先开局,且以7-6(3)扳回一盘;第三盘决胜盘,在关键的第9局15-40落后情况下凭借连续的高质量发球逆转保发,之后比赛再次进入抢七,抢七局依然胶着,吴易昺又挽救了3个赛点,并兑现了自己的第5个冠军点,就此锁定冠军!历史性一刻到来时,吴易昺瞬间躺倒在地。全场比赛,伊斯内尔轰出了44记Ace球,但最终在主场依然输给了吴易昺。
凭借具有突破意义的这一冠,吴易昺在本周入账250个积分和112125美元的冠军奖金,在周一最新一期的男单排名榜单上,创中国大陆男网历史新高排名—第58位。根据比赛计划,吴易昺原本要出战本周进行的ATP250德拉海滩站,不过在达拉斯夺冠后,吴易昺因身体疲劳退出本站赛事,他的签位由幸运落败者约翰森替代。
Answer: 男子网坛历史性一刻!中国小将吴易昺逆转击败赛会5号种子,成公开赛年代首个冠军。
```
 |
Luotuo Embedding 骆驼嵌入骆驼嵌入是一个文本嵌入模型，可以将长文本转化为1536维的向量，支持文本可视化、搜索、聚类、内容审核等下游业务。 |
[【开源骆驼】我们蒸馏了OpenAI的特征，并用它分析了周杰伦的歌词，还打算复现360的Demo](https://zhuanlan.zhihu.com/p/622433896)
骆驼嵌入是一个非相关从业者关注比较少的项目。但是我们发现其实有很多的开发者在使用这个模型。LuotuoBert在huggingface的下载量一度达到了一个月一万三千多次。这显然不是我们自己开发的下载量能cover的。骆驼嵌入最近有胡婧训练了中模型，并且我们(陈舒年)打算再训一个英语的嵌入模型，这样可以做一些中英文的对齐。
和骆驼嵌入同步启动的项目是骆驼QA。原则上骆驼嵌入+骆驼QA就可以形成一个好的本地知识库问答。在实践中我们相当于也验证了训练一个closed QA模型能够产生更好的效果。并且在上个月我们做了骆驼QA-B数据集(by 罗钦雨)。
[【开源骆驼】骆驼团队发布，中文阅读理解模型，骆驼QA，可给定知识文本进行问答](https://zhuanlan.zhihu.com/p/624662198)
 |
骆驼QA骆驼QA是指给定一段特定的文本，用户针对文本中的内容，进行一个提问。语言模型试图理解文本中的内容，对用户的问题进行回答。 |
 |
Silk Magic Book 丝绸魔法书丝绸魔法书记录了大语言模型的一些魔法提示词(prompt)。我们希望有一天，骆驼项目自己训练的语言模型，也能适配很复杂任务的prompt。 |
 |
骆驼先知骆驼先知是模仿纪伯伦的《先知》进行哲学讨论。项目包含了李鲁鲁对于Prompt Engineering和LangChain的实践。 |
 |
Chat凉宫春日Chat凉宫春日是模仿凉宫春日等一系列动漫人物，使用近似语气、个性和剧情聊天的语言模型。 |
 |
迷你骆驼迷你骆驼:一系列蒸馏指令数据得到的中文语言模型。 |
这是[Chengxi Guo](https://github.com/mymusise)等同学实现的GLM微调，最新的版本中同时支持了LoRA和p-tuning |
|[Alpaca](https://github.com/tatsu-lab/stanford_alpaca) | Alpaca是斯坦福在LLaMA上微调对话指令的项目，是万恶之源 |
|[Alpaca-LoRA](https://github.com/tloen/alpaca-lora) | 这个项目开启了LLaMA模型上的LoRA微调，万恶之源2 |
|[Alpaca-ChToken](https://github.com/ymcui/Chinese-LLaMA-Alpaca) | 复旦的Yiming Cui和Ziqing Yang修复了Alpaca的中文token问题，在原来的LLaMA英文token边上并了一个中文的token，我们想把这个项目整合到整体训练里，还没做完 |
|[BELLE-7B](https://github.com/LianjiaTech/BELLE)| [](https://colab.research.google.com/github/LianjiaTech/BELLE/blob/main/notebook/BELLE_INFER_COLAB.ipynb) BELLE是贝壳(链家)放出来的中文大模型，我们之后会尝试在这上面做微调。在一个合适的定量benchmark建立以后，我们会对比各个单卡大模型之间的性能。|
|[RWKV-LM](https://github.com/BlinkDL/RWKV-LM)|RWKV也是一套语言模型的训练架构|
|[Baize-7B](https://github.com/project-baize/baize-chatbot)|白泽是做连续对话的，他收集语料的方法很有意思，之后我们要看一下，但是白泽是在LLaMA上训练的，所以会遇到中文的问题，用到中文要换基模型。 |
|[Vicuna](https://github.com/lm-sys/FastChat)|同时有7B和13B，支持中文的模型，这个应该挺厉害的，而且13B用Int4能够压缩到colab使用（但是不知道int4训练会不会出事儿），之后也要试一下|
|[DeepSpeed](https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/chinese) | 微软开源的一个快速训练RLHF和全局finetune的一个框架 |
|[Phoenix](https://github.com/FreedomIntelligence/LLMZoo)| 港中文深圳的老师同学们发布的Phoenix模型，拥有宽松，支持商业的开源协议，我们之后想有些模型也在这上面训练，另外感谢cite我们🙏|
|[中文OpenInstruct](https://github.com/flagopen/flaginstruct)|北京智源老师们准备开源出来的数据集，另外感谢cite我们!|
| 数据 | 详情 |
| --- | --- |
| [Guanaco](https://huggingface.co/datasets/JosephusCheung/GuanacoDataset) | Guanaco是JosephusCheung制作的一套指令调优的数据集，在骆驼0.3以上版本的模型中我们使用了这个数据。 |
| [CNewSum](https://dqwang122.github.io/projects/CNewSum/) | CNewSum是字节与UCSB发布的中文摘要数据集，我们在驼铃-C模型中使用了这个数据集 |
| [Coco-CN](https://github.com/li-xirong/coco-cn) | 这是中国人民大学的li-xirong等翻译的部分Coco数据集，**骆驼团队正在准备用GPT翻译完整的Coco,如果你也准备翻译，可以联系我们，避免重复花钱** |
| [CoQA](https://stanfordnlp.github.io/coqa/) | 基于一段文字，然后问答，是个很重要的任务。陈丹琦大佬参与做的CoQA数据集，**骆驼团队正在准备用GPT增广和翻译完整的CoQA,如果你也准备翻译，可以联系我们，避免重复花钱** |
## 贡献者(Contributors)
我们会把每个贡献者的贡献记录在[contributions.md](https://github.com/LC1332/Luotuo-Chinese-LLM/blob/main/data/contributions.md)，包括每个项目每个成员的具体任务分配和贡献。
这里的表格仅列出每个人的主要贡献，更具体的内容请参考contributions.md
[太长不看](#endOfContributors)
李鲁鲁 @ 商汤科技 李鲁鲁 是骆驼项目的发起人之一 |
冷子昂 @ 商汤科技 冷子昂 是骆驼项目的发起人之一 |
陈启源 @ 华中师范大学 陈启源 是骆驼项目的发起人之一 |
黄泓森 @ 华中师范大学 黄泓森 维护了服务器和大量数据代码 |
胡婧 @ 华中师范大学 胡婧 正在进一步维护骆驼嵌入 |
陈舒年 @ 杜克大学 陈舒年 参与了骆驼嵌入等多个项目 |
刘思诣 @ Upenn 刘思诣 参与了骆驼嵌入项目 |
孙骜 @ 清华大学 孙骜 训练了骆驼QA的英文模型 |
黄钟健 @ 西安电子科大 黄钟健训练了迷你骆驼 |
廖健生 Jansen 廖健生 训练了骆驼QA的模型 |
罗钦雨 @ JHU 罗钦雨 发布了骆驼QA-B数据集 |
更多 更多同学招募中。。。 |
