2024工作周期安排
2024项目整体规划
沐曦测试(已完成)
沐曦性能测试研究
沐曦Benchmark相关测试
沐曦模型适配表
2024-02-26沐曦沟通报告
智能打标
数据打标服务Json样例
智能打标寒武纪大模型思路
业务层优先级排序
智能打标流程图
打标API接口文档
图像内容识别
其他
申报项目文本段落
研发链相关资料文档
国产GPU虚拟化培训介绍
RAG垂直落地
DB-GPT与TeleChat-7B搭建相关RAG知识库
ChatWithRTX
ChatRTX安装教程
ChatWithRTX 踩坑记录
ChatWithRTX 使用其他量化模型
ChatWithRTX介绍
RAG 相关资料
英伟达—大模型结合 RAG 构建客服场景自动问答
又一大模型技术开源!有道自研RAG引擎QAnything正式开放下载
收藏!RAG入门参考资料开源大总结:RAG综述、介绍、比较、预处理、RAG Embedding等
RAG调研
解决现代RAG实际生产问题
解决现代 RAG 系统中的生产问题-II
先进的Retriever技术来增强你的RAGs
高级RAG — 使用假设文档嵌入 (HyDE) 改进检索
提升 RAG:选择最佳嵌入和 Reranker 模型
LangGraph
增强型RAG:re-rank
大模型比赛
相关资料
智能填单_填单 启动命令
2024私人规划
ChatGPT API账号记录
公众号相关资料
基于 Docker 的深度学习环境:入门篇
ollama
-
+
首页
ChatRTX安装教程
介于本人一直想将现有的智慧城市的文档结合大模型RAG实现知识库问答助手,借着Chat With RTX的风潮正好将机器人和知识库合二为一,方便以后对众多文件进行查阅。 ## 一、概要 Chat With RTX 是一个 Demo,用来将您自己的资料(文档、笔记、视频或其他数据)与大语言模型建立连接,从而令 LLM 更具个性化。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速,您可以与自定义聊天机器人对话,快速灵活地获得聊天机器人根据您的内容给出的见解。此外,由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行,因此您可以更快获得更满意的结果。 ## 二、安装教程 ## 从官网下载demo https://us.download.nvidia.com/RTX/NVIDIA\_ChatWithRTX\_Demo.zip ![img](https://yg9538.kmgy.top/202402290945788.png) ### 系统要求 | 平台 | Windows | | -------- | ------------------------------------------------------------ | | GPU | NVIDIA GeForce® RTX 30 或 40 系列 GPU 或配备至少 8GB VRAM 的 NVIDIA RTX™ Ampere 或 Ada Generation GPU | | RAM | 16GB 或更高 | | 操作系统 | Windows 11 | | 驱动 | 535.11 或更新版本驱动 | | 文件大小 | 35 GB | ### 解压缩安装包 ![img](https://yg9538.kmgy.top/202402290945600.png) ## 开始安装 ![img](https://yg9538.kmgy.top/202402290945702.png) ![img](https://yg9538.kmgy.top/202402290945809.png) ![img](https://yg9538.kmgy.top/202402290945652.png) ![img](https://yg9538.kmgy.top/202402290945630.png) ## 注意事项 这个时候打开VPN,不然会安装报错。 只能安装在默认路径,路径不能包含中文。 如果安装路径用户名包含中文,则无法继续安装,需要新建一个用户。 安装完成后,桌面会显示图标 ![img](https://yg9538.kmgy.top/202402290945078.png) 首次运行需要打开VPN,下载模型 ![img](https://yg9538.kmgy.top/202402290945115.png) 等到出现这个界面代表运行完毕 ![img](https://yg9538.kmgy.top/202402290945265.png) 安装完后可以选择不包含中文的文件夹作为知识库,然后就可以通过大模型轻松在几百篇文档中找到你想要的知识了!虽然回答正确率有待考量,但是能快速的定位到知识所在文件。目前仅支持英文回答!
yg9538
2024年2月29日 09:38
84
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码