服务化自动寻优工具使用过程记录_MindStudio_昇腾论坛

# 服务化自动寻优工具使用过程记录

### 模型推理

### 性能优化

发表于 2025-07-25 16:09:0151查看

# 服务化自动寻优工具使用过程记录

首先感谢华为专家的耐心指导！现阶段只是成功运行寻优工具收集到了数据，希望后续能将此工具应用在实际项目当中

> 参考资料：
> 
> [告别参数泥潭！MindStudio快速锁定大模型推理服务化吞吐最优解\_MindStudio\_昇腾论坛](https://www.hiascend.com/forum/thread-02117188557104484211-1-1.html)
> 
> [msserviceprofiler/docs/服务化自动寻优工具.md · Ascend/msit - Gitee.com](https://gitee.com/ascend/msit/blob/master/msserviceprofiler/docs/%E6%9C%8D%E5%8A%A1%E5%8C%96%E8%87%AA%E5%8A%A8%E5%AF%BB%E4%BC%98%E5%B7%A5%E5%85%B7.md)

## 确认mindie服务化正常拉起benchmark工具可以正常使用

`export MINDIE_LOG_TO_STDOUT="benchmark:1; client:1"`

`benchmark \ --DatasetType "synthetic" \ --ModelName Qwen3-1.7B \ --ModelPath "/home/dyp/Qwen3-1.7B" \ --TestType vllm_client \ --Http http://xxx.xxx.xxx.xxx:1025 \ --ManagementHttp http://xxx.xxx.xxx.xxx:1026 \ --Concurrency 256 \ --TaskKind stream \ --Tokenizer True \ --SyntheticConfigPath "/usr/local/lib/python3.11/site-packages/mindiebenchmark/config/synthetic_config.json"`

![](https://yg9538.kmgy.top/img/2025/08/26/ebb2dc4e832c47c598dce7f4a455bbfa4538.png)

## 搭建工具运行环境

1.  拉取msit项目至本地

`git clone https://gitee.com/ascend/msit.git`

2.  安装基本依赖

`cd msit/msserviceprofiler pip install -U msserviceprofiler .[real]`

3.  修改配置文件config.json

`cd msserviceprofiler/modelevalstate vim config.json`

4.  修改11-17行

`11         "dataset_path": "dataset_path", 			# 参考benchmark的启动命令填写  12         "dataset_type": "dataset_type",				# 参考benchmark的启动命令填写  13         "model_name": "model_name",					# 参考mindie的config.json填写  14         "model_path": "model_path",					# 参考mindie的config.json填写  15         "max_output_len": "256",					# 参考mindie的config.json填写  16         "http": "http://127.0.0.1:1025",			# 参考mindie的config.json填写  17         "management_http": "http://127.0.0.1:1026"	# 参考mindie的config.json填写`

![](https://yg9538.kmgy.top/img/2025/08/26/879e6a415c954dddb6729afa9804beab5428.png)

5.  修改custom\_command.py文件

`vim /usr/local/lib/python3.11/site-packages/msserviceprofiler/modelevalstate/config/custom_command.py`

![](https://yg9538.kmgy.top/img/2025/08/26/61fc164f4eac417790922746d1fc483e1488.png)

## 执行轻量化寻优

`msserviceprofiler optimizer`

![](https://yg9538.kmgy.top/img/2025/08/26/54a64cb183b64a498cc4605e41ce51859158.png)