ChatWithRTX介绍

# **什么是**“Chat with RTX”

**“Chat with RTX”**是英伟达官方推出的可本地部署的大模型应用程序。**该应用利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速，基于 llama2-13B 和 mistral-7B 两大开源模型，可以使用户便捷地连接到其个人 Windows RTX PC 或工作站的本地资料（文档、笔

记、视频或其他数据），并且按照上下文提供答案。

## **“Chat with RTX”**的特性：

1） **广泛的文件格式：**支持包括 .txt、.pdf、.doc/.docx 和 .xml 在内的多种文件格式， 将应用程序指向含有这些资料的文件夹，Chat with RTX 工具就会在几秒钟内将它们载入到资料库中。

2） **支持视频文件：**用户可在 Chat with RTX 里加入 YouTube 视频网址，Chat with RTX

聊天机器人即可对视频转录文本并进行上下文查询。

3） **本地部署：**Chat with RTX 是一个本地部署的应用程序，利用 Nvidia RTX GPU 的强大计算能力，且无需向云服务器传输敏感数据，因此可以提供快速响应的交互体验和更高的数据安全保障。

4） **友好的** **UI** **设计：**Chat with RTX 提供了一整套友好的用户界面，适合不同技术背

景的用户使用，大大提高了用户的 AI 交互体验。

| **图** **1** **Chat with RTX** **使用案例**         |
| --------------------------------------------------- |
| ![img](https://yg9538.kmgy.top/202402290950265.png) |
| 资料来源：英伟达，海通国际                          |

**“Chat with RTX”**的配置要求：

**平台：**Windows PC

**显卡：**NVIDIA GeForce® RTX 30 或 40 系列 GPU 或配备至少 8GB VRAM 的 NVIDIA RTX™ Ampere 或Ada Generation GPU

**显存：**8GB 或更高

**操作系统：**Windows 11 （后测试 Windows 10 即可运行）

# **“Chat with RTX”**性能如何？

**针对** **RTX** **显卡优化推理，受限于底层模型，表现较主流云端** **GPT** **有较大差距。**技术架构上看，Chat with RTX 基于 TensorRT-LLM RAG 开发者参考项目 trt-llm-rag-windows 构

建而成，底层模型采用开源的llama2-13B 和mistral-7B，前端采用 Gradio 架构，并采用英伟达开源的检索增强生成（RAG）算法。得益于针对 RTX 显卡专门设计的推理框架，Chat with RTX 推理过程中显卡效用得到充分发挥，据部分开发者实测 RTX 3090 配置下 mistral 推理速度超过 60 token/s。但另一方面，由于当前支持的 llama2-13B 和mistral-7B 两个大语言模型相对老旧且中文支持较差，实际性能表现较目前主流云端GPT 差距较大。

| **图** **2** **Chat with RTX** **目前仅支持** **llama** **和** **mistral** **两个开源大模型** |
| ------------------------------------------------------------ |
| ![img](https://yg9538.kmgy.top/202402290950201.jpg)          |
| 资料来源：英伟达，海通国际                                   |

# **最大程度降低用户门槛，有望加速推动本地化** **AI** **应用全面开花**

尽管过去一年 LLM 在开源社区发展迅速，但受限于模型部署对使用者自身技术背景要求较高，主要使用者集中在研究人员和程序员群体，传播速度远远落后于模型性能提高速度。既此前推出的 AI 开发工具包 NVIDIA AI Workbench，英伟达此次发布的 Chat with RTX 进一步提供了一整套简单易用的 LLM 本地化部署方案，适合占比较大的非开发者群体，**极大降低了用户使用门槛，同时解决了数据隐私等痛点，有望使本地大模型应用快速推广到普通用户。**同时，得益于小模型性能的快速提高和英伟达持续的开源生态，我们认为 Chat with RTX 或将在开源社区继续迭代，或将随着用户需求逐步培育，进一步刺激本地化 AI 应用全面开花。