ChatRTX安装教程

介于本人一直想将现有的智慧城市的文档结合大模型RAG实现知识库问答助手，借着Chat With RTX的风潮正好将机器人和知识库合二为一，方便以后对众多文件进行查阅。

## 一、概要

Chat With RTX 是一个 Demo，用来将您自己的资料（文档、笔记、视频或其他数据）与大语言模型建立连接，从而令 LLM 更具个性化。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速，您可以与自定义聊天机器人对话，快速灵活地获得聊天机器人根据您的内容给出的见解。此外，由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行，因此您可以更快获得更满意的结果。

## 二、安装教程

## 从官网下载demo

https://us.download.nvidia.com/RTX/NVIDIA\_ChatWithRTX\_Demo.zip

![img](https://yg9538.kmgy.top/202402290945788.png)

### 系统要求

| 平台     | Windows                                                      |
| -------- | ------------------------------------------------------------ |
| GPU      | NVIDIA GeForce® RTX 30 或 40 系列 GPU 或配备至少 8GB VRAM 的 NVIDIA RTX™ Ampere 或 Ada Generation GPU |
| RAM      | 16GB 或更高                                                  |
| 操作系统 | Windows 11                                                   |
| 驱动     | 535.11 或更新版本驱动                                        |
| 文件大小 | 35 GB                                                        |

### 解压缩安装包

![img](https://yg9538.kmgy.top/202402290945600.png)

## 开始安装

![img](https://yg9538.kmgy.top/202402290945702.png)

![img](https://yg9538.kmgy.top/202402290945809.png)

![img](https://yg9538.kmgy.top/202402290945652.png)

![img](https://yg9538.kmgy.top/202402290945630.png)

## 注意事项

这个时候打开VPN，不然会安装报错。

只能安装在默认路径，路径不能包含中文。

如果安装路径用户名包含中文，则无法继续安装，需要新建一个用户。

安装完成后，桌面会显示图标

![img](https://yg9538.kmgy.top/202402290945078.png)

首次运行需要打开VPN，下载模型

![img](https://yg9538.kmgy.top/202402290945115.png)

等到出现这个界面代表运行完毕

![img](https://yg9538.kmgy.top/202402290945265.png)

安装完后可以选择不包含中文的文件夹作为知识库，然后就可以通过大模型轻松在几百篇文档中找到你想要的知识了！虽然回答正确率有待考量，但是能快速的定位到知识所在文件。目前仅支持英文回答！