大家好,我是超哥。今天给大家分享 Qwen3.8-Flash-Next 无审查版 AI 大模型的本地部署教程。这次我们使用全新的 Strata 推理引擎,结合 MTP 加速,模型速度得到了大幅度提升。模型支持 262K 上下文,不仅可以进行文本对话,还支持图片识别和理解,更重要的是,8GB 显存的显卡也能跑得动。下面我们就用自己的电脑完成本地安装部署,并接入DeepSeek Harness 和 Hermes Agent,彻底告别 Token 费用。下面我们开始教程!

博主电脑环境
显卡:NVIDIA RTX 4080 SUPER(16GB)
CPU:AMD R9 7900X 12-Core Processor(12核)
内存:64GB DDR5(3600 MHz)
一、Strata 项目下载
夸克网盘 项目下载地址:https://pan.quark.cn/s/bd54e07cdb03?pwd=xvSp
Github 项目地址:https://github.com/Niko1221/Strata/releases/tag/v0.2.10
二、无审查模型下载
夸克网盘 项目下载地址:https://pan.quark.cn/s/424de478e8e8?pwd=jyVk
Hugging Face 下载地址:https://huggingface.co/SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF/tree/main
电脑配置模型选择推荐(内存大的可以往下再提一格):
| 模型版本 | 文件大小 | 适用显存 | 推荐说明 |
|---|---|---|---|
| Q2_0 | 约 66.4 GB | 8GB 显存及以上 | 最低量化,速度优先 |
| IQ2_XS | 约 68.0 GB | 8GB 显存及以上 | 低显存推荐,质量略高于 Q2_0 |
| IQ3_XXS | 约 75.8 GB | 12GB 显存及以上 | 3-bit 量化,质量更高 |
| IQ3_S | 约 83.6 GB | 16GB 显存及以上 | 高质量推荐 |
| mtp-q2_0.gguf | 约 0.89 GB | -- | MTP 加速模块,提升推理速度 |
| strata/rt | 约 824 MB | -- | MTP 运行时文件,供 Strata 加载 MTP 加速模块 |
| mmproj-Qwen3.8-Flash-Next-BF16.gguf | 约 0.91 GB | -- | 视觉模块,支持图片输入 |
手动创建文件夹:Strata\Models\models 和 Strata\Models\mtp
模型文件 放到这个目录里:D:\Strata\Models\models
strata/rt 文件夹放到这个目录:D:\Strata\Models\mtp\rt
注意:如果你项目不放D盘,请修改后面第三大步的 START-HERE.bat 文件,把文件里面的“D:\Strata\Models\models”,修改成你项目的盘符路径。
三、启动文件下载
夸克网盘 项目下载地址:https://pan.quark.cn/s/e11d7167de2a?pwd=Bt36
Github 项目地址:https://github.com/xchaoge/0115-Qwen3.8-Flash-Next-Strata
存放位置:覆盖到 Strata 项目根目录。
注意:如果你项目不放D盘,请修改 START-HERE.bat 文件,把文件里面的“D:\Strata\Models\models”,修改成你项目的盘符路径。
四、启动项目
1. 启动模型
双击项目根目录的:START-HERE.bat
访问控制面板 URL:http://127.0.0.1:8080/
2. 修改启动参数
在项目根目录查找类似 strata-***.json 的文件,打开即可修改里面的参数。
启动端口修改:port
上下文长度修改:--max-context (最大值:262144)
五、接入 DeepSeek Harness 和 Hermes Agent
1. 接入 DeepSeek Harness
DeepSeek Harness 官网地址:https://www.deepseek.com/
接入参数:
Provider ID: strata-qwen
显示名称: strata-qwen
API 地址:http://127.0.0.1:8080/v1
API 协议: OpenAI Chat Completions
API Key: 随便填一个
添加模型:点击"获取可用模型"
2. 接入 Hermes Agent
Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/
OpenAI api 参数:
API 秘钥: 随便填一个
Base URL:http://127.0.0.1:8080/v1