# 视觉模型使用指南 本教程分为两部分： - 第一部分：单模块运行xiaozhi-server开启视觉模型 - 第二部分：全模块运行时，如何开启视觉模型 开启视觉模型前，你需要准备三件事： - 你需要准备一台带摄像头的设备，而且这台设备已经在虾哥仓库里，实现了调用摄像头功能。例如`立创·实战派ESP32-S3开发板` - 你设备固件的版本升级到1.6.6及以上 - 你已经成功跑通基础对话模块 ## 单模块运行xiaozhi-server开启视觉模型 ### 第一步确认网络 由于视觉模型会默认启动8003端口。 如果你是docker运行，请确认一下你的`docker-compose.yml`是否放了`8003`端口，如果没有就更新最新的`docker-compose.yml`文件 如果你是源码运行，确认防火墙是否放行`8003`端口 ### 第二步选择你的视觉模型 打开你的`data/.config.yaml`文件，设置你的`selected_module.VLLM`设置为某个视觉模型。目前我们已经支持`openai`类型接口的视觉模型。`ChatGLMVLLM`就是其中一款兼容`openai`的模型。 ``` selected_module: VAD: .. ASR: .. LLM: .. VLLM: ChatGLMVLLM TTS: .. Memory: .. Intent: .. ``` 假设我们使用`ChatGLMVLLM`作为视觉模型，那我们需要先登录[智谱AI](https://bigmodel.cn/usercenter/proj-mgmt/apikeys)网站，申请密钥。如果你之前已经申请过了密钥，可以复用这个密钥。 在你的配置文件中，增加这个配置，如果已经有了这个配置，就设置好你的api_key。 ``` VLLM: ChatGLMVLLM: api_key: 你的api_key ``` ### 第三步启动xiaozhi-server服务 如果你是源码，就输入命令启动 ``` python app.py ``` 如果你是docker运行，就重启容器 ``` docker restart xiaozhi-esp32-server ``` 启动后会输出以下内容的日志。 ``` 2025-06-01 **** - OTA接口是 http://192.168.4.7:8003/xiaozhi/ota/ 2025-06-01 **** - 视觉分析接口是 http://192.168.4.7:8003/mcp/vision/explain 2025-06-01 **** - Websocket地址是 ws://192.168.4.7:8000/xiaozhi/v1/ 2025-06-01 **** - =======上面的地址是websocket协议地址，请勿用浏览器访问======= 2025-06-01 **** - 如想测试websocket请用谷歌浏览器打开test目录下的test_page.html 2025-06-01 **** - ============================================================= ``` 启动后，使用使用浏览器打开日志里`视觉分析接口`连接。看看输出了什么？如果你是linux,没有浏览器，你可以执行这个命令： ``` curl -i 你的视觉分析接口 ``` 正常来说会这样显示 ``` MCP Vision 接口运行正常，视觉解释接口地址是：http://xxxx:8003/mcp/vision/explain ``` 请注意，如果你是公网部署，或者docker部署，一定要改一下你的`data/.config.yaml`里这个配置 ``` server: vision_explain: http://你的ip或者域名:端口号/mcp/vision/explain ``` 为什么呢？因为视觉解释接口需要下发到设备，如果你的地址是局域网地址，或者是docker内部地址，设备是无法访问的。 假设你的公网地址是`111.111.111.111`，那么`vision_explain`应该这么配 ``` server: vision_explain: http://111.111.111.111:8003/mcp/vision/explain ``` 如果你的MCP Vision 接口运行正常，且你也试着用浏览器访问正常打开下发的`视觉解释接口地址`，请继续下一步 ### 第四步 设备唤醒开启 对设备说“请打开摄像头，说你你看到了什么” 留意xiaozhi-server的日志输出，看看有没有报错。 ## 全模块运行时，如何开启视觉模型 ### 第一步 确认网络 由于视觉模型会默认启动8003端口。 如果你是docker运行，请确认一下你的`docker-compose_all.yml`是否映射了`8003`端口，如果没有就更新最新的`docker-compose_all.yml`文件 如果你是源码运行，确认防火墙是否放行`8003`端口 ### 第二步 确认你配置文件 打开你的`data/.config.yaml`文件，确认一下你的配置文件的结构，是否和`data/config_from_api.yaml`一样。如果不一样，或缺少某项，请补齐。 ### 第三步 配置视觉模型密钥 那我们需要先登录[智谱AI](https://bigmodel.cn/usercenter/proj-mgmt/apikeys)网站，申请密钥。如果你之前已经申请过了密钥，可以复用这个密钥。 登录`智控台`，顶部菜单点击`模型配置`，在左侧栏点击`视觉打语言模型`，找到`VLLM_ChatGLMVLLM`，点击修改按钮，在弹框中，在`API密钥`输入你密钥，点击保存。 保存成功后，去到你需要测试的智能体哪里，点击`配置角色`，在打开的内容里，查看`视觉大语言模型(VLLM)`是否选择了刚才的视觉模型。点击保存。 ### 第三步 启动xiaozhi-server模块 如果你是源码，就输入命令启动 ``` python app.py ``` 如果你是docker运行，就重启容器 ``` docker restart xiaozhi-esp32-server ``` 启动后会输出以下内容的日志。 ``` 2025-06-01 **** - 视觉分析接口是 http://192.168.4.7:8003/mcp/vision/explain 2025-06-01 **** - Websocket地址是 ws://192.168.4.7:8000/xiaozhi/v1/ 2025-06-01 **** - =======上面的地址是websocket协议地址，请勿用浏览器访问======= 2025-06-01 **** - 如想测试websocket请用谷歌浏览器打开test目录下的test_page.html 2025-06-01 **** - ============================================================= ``` 启动后，使用使用浏览器打开日志里`视觉分析接口`连接。看看输出了什么？如果你是linux,没有浏览器，你可以执行这个命令： ``` curl -i 你的视觉分析接口 ``` 正常来说会这样显示 ``` MCP Vision 接口运行正常，视觉解释接口地址是：http://xxxx:8003/mcp/vision/explain ``` 请注意，如果你是公网部署，或者docker部署，一定要改一下你的`data/.config.yaml`里这个配置 ``` server: vision_explain: http://你的ip或者域名:端口号/mcp/vision/explain ``` 为什么呢？因为视觉解释接口需要下发到设备，如果你的地址是局域网地址，或者是docker内部地址，设备是无法访问的。 假设你的公网地址是`111.111.111.111`，那么`vision_explain`应该这么配 ``` server: vision_explain: http://111.111.111.111:8003/mcp/vision/explain ``` 如果你的MCP Vision 接口运行正常，且你也试着用浏览器访问正常打开下发的`视觉解释接口地址`，请继续下一步 ### 第四步 设备唤醒开启 对设备说“请打开摄像头，说你你看到了什么” 留意xiaozhi-server的日志输出，看看有没有报错。