- 简介
- 目录大纲
- 最新文档
- 文集下载
Ollama
图片由 AI 生成，作者 #1 为什么选择本地法学硕士 毫无疑问，ChatGPT 很棒，但它有一个明显的缺点：您编写或上传的所有内容都存储在 OpenAI 的服务器上。尽管这在许多情况下可能很好，但在处理敏感数据时，这可能会成为一个问题。 出于这个原因，我开始探索可以在个人计算机上本地运行的开源 LLM。事实证明，它们之所以出色，实际上还有更多原因。 1. 数据隐私：您的信息保留在您的机器上。 ……
yg9538 - 2024年7月31日 09:32
2024项目整体规划
整体规划（单人） 2024.2.22-2024.3.22 完成昇腾GPU虚拟化VCuda部分 2024.3.22-2024.4.22 完成昇腾GPU虚拟化Device-Plugin部分 2024.4.22-2024.4.29 完成昇腾GPU虚拟化整体的设备测试 2024.4.29-2024.5.17 完成大模型RAG部分调研 2024.5.17-2024.7.5 完成大模型RAG开发，测试 20……
yg9538 - 2024年7月19日 11:05
ollama
docker run -d --privileged -p 3000:8080 --add-host=host.docker.internal:172.31.106.15 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
yg9538 - 2024年4月17日 15:23
智能填单_填单 启动命令
nohup python api_demo_new.py --prompt_template alpaca -model_name_or_path /data/Champion/智能填单_填单/checkpoint/baichuan-sft-7B > output.log 2>&1 &
yg9538 - 2024年4月16日 18:46
沐曦Benchmark相关测试
我们在购买GPU的时候总是要比较一些关键参数，比如下图是A30的官方标称峰值性能数据： 通过官方数据我们可以大致了解A30 GPU的浮点运算峰值数据。但当我们实际拿到卡后，如何才能了解手里的卡是否达到了官方标称的峰值数据呢？ 这里先说我的测试结论，官方标称的峰值是理论上的，在实际环境中即使做到最优化也很难达到这个理论值。 这里我用到了两种测试方法： 通过PyTorch 提供的 Benchmar……
yg9538 - 2024年4月16日 12:24