大家好,我是超哥。今天给大家分享 Qwen3.5 9B 无审查版 AI 模型的本地部署教程!这款模型基于 阿里巴巴 Qwen3.5 9B,拥有约 90 亿参数,主打更加开放、自由的 AI 对话体验,减少不必要的拒绝回答。模型不仅支持图片识别和视频理解,还支持最长 262K 上下文,而且 9B 的参数规模让 6GB 显卡上也能运行。今天我们将使用 LocMod 在本地部署,下面我们开始教程!

博主电脑环境
显卡:NVIDIA RTX 4080 SUPER(16GB)
CPU:AMD R9 7900X 12-Core Processor(12核)
内存:64GB DDR5(3600 MHz)
一、LocMod 软件下载安装
LocMod 下载地址:https://locmod.com

二、环境部署
llama.cpp 下载地址
夸克网盘下载地址:https://pan.quark.cn/s/913967542683?pwd=81B5
Github 下载地址:https://github.com/ggml-org/llama.cpp/releases

| 版本 | 适用硬件 | 说明 |
|---|---|---|
| Windows x64 (CPU) | Intel / AMD CPU | 仅使用处理器运行 |
| Windows arm64 (CPU) | ARM 架构 Windows 设备 | 适用于骁龙 X Elite 等 ARM 平台 |
| Windows x64 (CUDA 12) | NVIDIA 显卡 | 推荐大多数 RTX/GTX 用户使用 |
| Windows x64 (CUDA 13) | NVIDIA 显卡 | 适用于较新的 NVIDIA 驱动 |
| Windows x64 (Vulkan) | AMD / Intel / NVIDIA 显卡 | 通用显卡加速版本 |
| Windows x64 (SYCL) | Intel Arc 显卡 | Intel Arc 用户专用版本 |
| Windows x64 (HIP) | AMD Radeon 显卡 | AMD 用户首选版本 |
注意:显卡用户别忘了下载下图主程序后面的DLLs文件,下载后把里面的内容解压到llama.ccp主程序的根目录里,不然无法使用显卡运行模型。

三、Qwen3.5 9B 模型下载
夸克网盘模型下载地址:https://pan.quark.cn/s/b26912a68504?pwd=8rtQ
Hugging Face 主模型下载地址:https://huggingface.co/HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive/tree/main
电脑配置模型选择推荐:
| 模型版本 | 文件大小 | 适用显存 | 推荐说明 |
|---|---|---|---|
| BF16 | 约 17.9 GB | 16GB 显存及以上 | 原始高精度版本,质量优先,适合高显存显卡 |
| Q8_0 | 约 9.53 GB | 12GB 显存及以上 | 8-bit 量化,接近原始模型质量 |
| Q6_K | 约 7.36 GB | 8GB 显存及以上 | 高质量量化版本,质量与显存占用比较均衡 |
| Q4_K_M | 约 5.63 GB | 6GB 显存及以上 | 推荐日常使用,显存占用较低,兼顾运行速度与质量 |
| mmproj-BF16 | 约 922 MB | -- | 视觉投影模块,配合主模型使用,支持图片和视频识别 |
四、接入 DeepSeek Harness 和 Hermes Agent
1. 接入 DeepSeek Harness
DeepSeek Harness 下载地址:https://www.deepseek.com/harness/
接入参数:
Provider ID: qwen35-9b
显示名称: qwen35-9b
API 地址:http://127.0.0.1:端口号/v1
API 协议: OpenAI Chat Completions
API Key: 随便填一个
添加模型:点击"获取可用模型"
2. 接入 Hermes Agent
Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/
OpenAI api 参数:
API 秘钥: 随便填一个
Base URL:http://127.0.0.1:端口号/v1