1.7 KiB
1.7 KiB
Qwen3.5-9B ToolHub
基于 Qwen3.5-9B 多模态模型 + 可调用工具的本地一体化部署方案
✅联网搜索、看图、读文件
模型推理在本机 GPU 完成，可通过 API 接口使用
需要 Windows 10/11、NVIDIA 显卡（≥ 8 GB 显存）、Python 3.10+
启动
1. 双击 bootstrap.bat ← 首次安装，下载约 6 GB 模型
2. .\start_8080_toolhub_stack.cmd start
3. 浏览器打开 http://127.0.0.1:8080
停止：.\start_8080_toolhub_stack.cmd stop
每次启动需要 30–60 秒加载模型。
其他路线
上面是 Windows 默认主线。如果你的情况不同，可以选择：
- Docker Compose — 已装好 Docker 且 GPU 容器可用的环境。
docker compose up --build即可。→ 详细说明 - WSL — 已有 WSL 环境的用户。
./install.sh+./start_8080_toolhub_stack.sh start，底层复用 Windows 主链路。 - Q8 量化（约占用10.2 GB） — 如果你的显存 ≥ 12 GB ，双击
bootstrap_q8.bat，脚本自动切换模型并下载。
能做什么
- 联网搜索，抓取网页，提炼摘要并附来源
- 上传图片直接提问，支持局部放大和以图搜图
- 只读浏览本机文件，让 AI 帮你看文档和日志
- 内置思维链，复杂问题可展开推理过程
- OpenAI 兼容 API（
http://127.0.0.1:8080/v1），可对接任意兼容客户端
文档
- 详细介绍 — 安装、启动、配置、服务管理
- 常见问题 — 排障指引
- Docker Compose — 容器化部署