大家好,我是超哥。今天给大家分享 Qwen3.5 4B 无审查版 AI 模型的本地部署教程!这款模型基于 阿里巴巴 Qwen3.5 4B,拥有约 40 亿参数,主打更加开放、自由的 AI 对话体验,尽可能减少不必要的拒绝回答。模型不仅支持 Thinking 深度推理,还支持图片识别和视频理解,拥有最长 262K 上下文。最小仅需 4GB 显存的显卡即可运行。今天我们将使用 LocMod 在本地部署,下面我们开始教程!

一、LocMod 软件下载安装
LocMod 下载地址:https://locmod.com

二、环境部署
1. 在线自动部署(能快速访问Github)
直接点击软件里的"立即下载"按钮自动部署。
2. 手动下载部署
下载下面链接里的环境文件,软件里导入下载到的压缩包即可,如果是2个压缩包就一起导入。
llama.cpp 夸克网盘下载地址:https://pan.quark.cn/s/814d913a0335?pwd=UZj4
Github 下载地址:https://github.com/ggml-org/llama.cpp/releases

三、Qwen3.5 4B 模型部署
电脑配置模型选择推荐:
| 模型版本 | 文件大小 | 适用显存 | 推荐说明 |
|---|---|---|---|
| Q4_K_M | 约 2.71 GB | 4GB 显存及以上 | 推荐日常使用,显存占用低,适合主流显卡本地部署 |
| Q6_K | 约 3.46 GB | 4GB 显存及以上 | 高质量量化版本,兼顾模型精度与显存占用 |
| Q8_0 | 约 4.48 GB | 6GB 显存及以上 | 8-bit 高精度量化版本,较好保留原始模型质量 |
| BF16 | 约 8.42 GB | 12GB 显存及以上 | 原始高精度版本,质量优先,适合追求最佳模型表现的用户 |
| mmproj-BF16 | 约 676 MB | -- | 多模态视觉投影模块,配合主模型使用,支持图片和视频识别 |
1、 "精选模型"里部署
方式a. 点击"海外(HF)下载"按钮进行下载部署,网络需要能够访问 huggingface.co
方式b. 点击"网盘下载"获取模型文件,然后点击"导入模型"进行部署
夸克网盘模型下载地址:https://pan.quark.cn/s/959c16a0b114?pwd=Njh6
2、"我的模型"里部署
方式a. 填入软件模型链接进行部署
Hugging Face 模型地址:https://huggingface.co/HauhauCS/Qwen3.5-4B-Uncensored-HauhauCS-Aggressive/tree/main
方式b. 点击"网盘下载"获取模型文件,然后点击"导入模型"进行部署
夸克网盘模型下载地址:https://pan.quark.cn/s/959c16a0b114?pwd=Njh6
四、接入 DeepSeek Harness 和 Hermes Agent
1. 接入 DeepSeek Harness
DeepSeek Harness 下载地址:https://www.deepseek.com/harness/
接入参数:
Provider ID: qwen35-9b
显示名称: qwen35-9b
API 地址:http://127.0.0.1:端口号/v1
API 协议: OpenAI Chat Completions
API Key: 随便填一个
添加模型:点击"获取可用模型"
2. 接入 Hermes Agent
Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/
OpenAI api 参数:
API 秘钥: 随便填一个
Base URL:http://127.0.0.1:端口号/v1