2024项目整体规划

## 整体规划（单人）
- 2024.2.22-2024.3.22 完成昇腾GPU虚拟化VCuda部分
- 2024.3.22-2024.4.22 完成昇腾GPU虚拟化Device-Plugin部分
- 2024.4.22-2024.4.29 完成昇腾GPU虚拟化整体的设备测试
- 2024.4.29-2024.5.17 完成大模型RAG部分调研
- 2024.5.17-2024.7.5 完成大模型RAG开发，测试
- 2024.7.5-2024.8.7 实现RAG大模型推理部署
~~- 2024.8.7-2024.9.7 完成大模型原生应用商店的调研测试~~
~~- 2024.9.7-2024.11.7 完成大模型应用商店的开发~~
~~- 2024.11.7-2024.11.21 完成大模型应用商店的测试~~

## 风险评估
- 期间会遇到部分类似沐曦GPU测试的事件，需要安排其他时间来进行，可能会耽误整体进度，沐曦整体测试时间大约为2周时间。
- 当中可能发生不可预估的假期事件，需要有一周左右的备用量。
- 整体时间安排太过紧张，需要其他技术并行开发。

## 新增事项
### 2月
- 2024.02.23 大模型适配和沐曦卡测试工作工作新增王耀辉参与，原生应用商店王耀辉参与后端研发。
- 2024.02.23 技术中台领导重点关注大模型适配相关工作项，需要形成大模型适配团队能完成整体工作安排。（已完成）
- 2024.02.23 沐曦相关GPU虚拟化工作邀请卢鑫，康舰，官浩参与，整体教学视频可以进行参考。（已废除）
- 2024.02.26 推进进一步模型选型会议，将现有模型选择控制在少量模型之内，开沐曦测试会议。PS：由于范总出差事项推迟（已推迟）
- 2024.02.26 讨论智能打标事项工作安排。（已完成）
- 2024.02.26 与沐曦开会讨论哪些模型可以基于现有算力卡进行训练推理，基于什么架构的模型优化会比较好，对于测试自研模型，需要关注的地方是哪里
- 2024.02.26 下午耀辉，官浩，张成，杨光开会讨论沐曦卡具体测试步骤。（已完成）
- 2024.02.26 27号下午给出沐曦基本的测试样例和方法。（已完成）
- 2024.02.27 测试DB-GPT 和telechat搭建的RAG 3080TI 12GB显卡上面运行发生显存不足的问题，预测需要24GB至少的显卡来进行该项目的使用。（已完成）
- 2024.02.28 已经交付大模型适配和智能打标相关技术，准备在A100上再次研究DB-GPT，尝试能否成功运行telechat，整理过程文档（已完成）
- 2024.02.28 开始准备进行昇腾虚拟化VCuda相关工作
- 2024.02.28 数集方面已经确认相关测试点，自研模型是否需要进行测试还需要二次确认 (已完成)
- 2024.02.29 准备3.1重新启动大模型比赛事项，准备相关资料
- 2024.02.29 数据确认沐曦自研模型不参加本次测试(已完成)

### 3月
- 2024.03.01 配合云公司专项工作（已废除）
- 2024.03.01 打电话华鲲询问是否有多余的算力（已咨询，没有）
- 2024.03.04 学习华为昇腾新大模型Pytorch适配推理加速优化，学习虚拟化相关知识（已完成）
- 2024.03.04 沐曦暂时无法提供测试卡（已完成）
- 2024.03.05 大模型适配的昇腾卡将在本周到达，新大模型推理加速项目进行研究。项目地址：https://gitee.com/ascend/ModelLink/tree/master/mindie_ref/mindie_llm/atb_models/pytorch/examples
- 2024.03.05 准备一个上传智能打标代码的git仓库（已完成）
- 2024.03.06 准备和研发中心对接数据打标项目具体内容，看是否满足采购标准（基本满足，5月底完成开发）
- 2024.03.07 现有的项目已经基本满足研发中心数据打标项目要求，需要进一步对接，需要和怀亚星对接下一步智能打标应该开发哪些内容。（已完成）
- 2024.03.08 完成研发链项目评审相关资料准备（已完成）
- 2024.03.08 完成大模型比赛相关启动事宜（已完成）
- 2024.03.11 RAG相关产品调研，GPU虚拟化项目申报文档资料（已完成）
- 2024.03.11 和云公司展开虚拟化相关会议讨论（已完成）
- 2024.03.13 电信集团研发链项目相关资料文档整理上报（已完成）
- 2024.03.14 大模型适配项目，昇腾卡上ModelLink推理加速安装成功，已经测试了第一款baichuan-7B-chat模型产生推理权重乱码问题，昇腾回复可以使用官方推荐权重和推荐模型来使用ModelLink，今晚参加昇腾自定义算子培训，学习如何使用自定义算子。
- 2024.03.14 参与社会治理RAG大模型相关会议，昇腾虚拟化可能立项成功，准备昇腾虚拟化相关事务。
- 2024.03.18 创建git仓库，阅读ModelLink源码明确华为大模型适配流程，阅读智能打标源码，测试CANN8.0，MindIE（测试遇到比赛检延迟，ModeLink阅读完毕）（测试已经结束）
	- ModelLink源码已基本阅读完毕，笔记地址：https://kmgy.top/doc/2247/ ，华为在英伟达开源项目Megatron-LM上做了二次封装和优化，具体内容可参考笔记。Megatron-LM项目支持大模型数据并行，模型并行，流水线并行，tensor并行，多种并行组合。
- 2024.03.19 阅读智能打标源码（已完成）
- 2024.03.19 智能打标英伟达相关任务已经移交吕雪娟进行打标，耀辉参与RAG相关项目，吕雪娟先进行英伟达相关接口适配目前项目版本的开发。
- 2024.03.20 大模型适配需要适配新的量化模型Yi-34B
- 2024.03.20 书写两份大模型适配和国产GPU虚拟化文档（已完成）
- 2024.03.20 安排智能打标工作量（已完成）
- 2024.03.20 调研Qwen-VL模型，看是否能适配昇腾卡实现图片内容识别（已完成）
### 4月
- 2024.04.01-04.04 进行大模型比赛，大模型适配，完成政务大模型公文生成能力相关工作
- 2024.04.07 需要进行大模型对比方案的测试，目前测试下来模型性能远远不及KIMI，测试了下128K长度进行公文清理长度尚可，下次使用ChatGLM3-128来清理
- 2024.04.07 需要填写大模型比赛资源使用情况说明，已经让童炼晓填写。
- 2024.04.08 公文生成项目，已经测试Yi-9B，ChatGLM3对数据清洗能力一般，长数据生成效果不行，建议使用200K模型
- 2024.04.11 ChatGLM3-128K效果不错数据已经清洗，大模型比赛对接中
- 2024.04.16 大模型比赛接口对接中，风险防范模型进行RAG测试，文档比对测试

### 5月
- 2024.05.09 服务器机房下架相关事宜（对接中）
- 2024.05.09 准备大模型国产化适配演讲PPT（已完成）
- 2024.05.09 细分GPU虚拟化功能清单，从一级功能细分三级功能。并写出量化指标。（已完成）
- 2024.05.09 备份大模型比赛国产适配相关代码。（已完成）
- 2024.05.15 编写国产化大模型适配验收测试报告（已完成）
- 2024.05.15 周五准备去算能公司 （已完成）
- 2024.05.14 Dify相关GPTs功能调研
- 2024.05.14 ollama，RAG相关功能调研
- 2024.05.13 昇腾卡相关事项跟进
- 2024.05.21 准备模型训练推理一整体流程文档