8GB 显卡也能跑,1.5 倍速度提升!Qwen3.8-Flash-Next 无审查版 AI 大模型本地部署教程|Strata 最新版 + MTP 加速 + 图片识别

大家好,我是超哥。今天给大家分享 Qwen3.8-Flash-Next 无审查版 AI 大模型的本地部署教程。这次我们使用全新的 Strata 推理引擎,结合 MTP 加速,模型速度得到了大幅度提升。模型支持 262K 上下文,不仅可以进行文本对话,还支持图片识别和理解,更重要的是,8GB 显存的显卡也能跑得动。下面我们就用自己的电脑完成本地安装部署,并接入DeepSeek Harness 和 Hermes Agent,彻底告别 Token 费用。下面我们开始教程!

博主电脑环境

显卡:NVIDIA RTX 4080 SUPER(16GB)

CPU:AMD R9 7900X 12-Core Processor(12核)

内存:64GB DDR5(3600 MHz)

一、Strata 项目下载

夸克网盘 项目下载地址:https://pan.quark.cn/s/bd54e07cdb03?pwd=xvSp

Github 项目地址:https://github.com/Niko1221/Strata/releases/tag/v0.2.10

二、无审查模型下载

夸克网盘 项目下载地址:https://pan.quark.cn/s/424de478e8e8?pwd=jyVk

Hugging Face 下载地址:https://huggingface.co/SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF/tree/main

电脑配置模型选择推荐(内存大的可以往下再提一格):

模型版本 文件大小 适用显存 推荐说明
Q2_0 约 66.4 GB 8GB 显存及以上 最低量化,速度优先
IQ2_XS 约 68.0 GB 8GB 显存及以上 低显存推荐,质量略高于 Q2_0
IQ3_XXS 约 75.8 GB 12GB 显存及以上 3-bit 量化,质量更高
IQ3_S 约 83.6 GB 16GB 显存及以上 高质量推荐
mtp-q2_0.gguf 约 0.89 GB -- MTP 加速模块,提升推理速度
strata/rt 约 824 MB -- MTP 运行时文件,供 Strata 加载 MTP 加速模块
mmproj-Qwen3.8-Flash-Next-BF16.gguf 约 0.91 GB -- 视觉模块,支持图片输入

手动创建文件夹:Strata\Models\models 和 Strata\Models\mtp

模型文件 放到这个目录里:D:\Strata\Models\models

strata/rt 文件夹放到这个目录:D:\Strata\Models\mtp\rt

注意:如果你项目不放D盘,请修改后面第三大步的 START-HERE.bat 文件,把文件里面的“D:\Strata\Models\models”,修改成你项目的盘符路径。

三、启动文件下载

夸克网盘 项目下载地址:https://pan.quark.cn/s/e11d7167de2a?pwd=Bt36

Github 项目地址:https://github.com/xchaoge/0115-Qwen3.8-Flash-Next-Strata

存放位置:覆盖到 Strata 项目根目录。

注意:如果你项目不放D盘,请修改 START-HERE.bat 文件,把文件里面的“D:\Strata\Models\models”,修改成你项目的盘符路径。

四、启动项目

1. 启动模型

双击项目根目录的:START-HERE.bat

访问控制面板 URL:http://127.0.0.1:8080/

2. 修改启动参数

 在项目根目录查找类似 strata-***.json 的文件,打开即可修改里面的参数。

启动端口修改:port

上下文长度修改:--max-context (最大值:262144)

五、接入 DeepSeek Harness 和 Hermes Agent

1. 接入 DeepSeek Harness

DeepSeek Harness 官网地址:https://www.deepseek.com/

接入参数:

Provider ID: strata-qwen

显示名称: strata-qwen

API 地址:http://127.0.0.1:8080/v1

API 协议: OpenAI Chat Completions

API Key: 随便填一个

添加模型:点击"获取可用模型"

2. 接入 Hermes Agent

Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/

OpenAI api 参数:

API 秘钥: 随便填一个

Base URL:http://127.0.0.1:8080/v1

感谢您的支持
支付宝
微信支付
感谢您的支持
支付宝收款二维码

打开支付宝扫描二维码(崔*杰)

感谢您的支持
微信支付收款二维码

打开微信扫描二维码(崔*杰)

上一篇12GB 显卡就能跑!DeepSeek-V4.1-Flash-1017 无审查版 AI 大模型本地部署教程|图片识别、1M上下文 下一篇没有了
请我喝杯咖啡
如果喜欢本站的内容,欢迎请我喝杯咖啡
支付宝
微信支付
感谢你的支持
支付宝二维码
打开支付宝扫描二维码(崔*杰)
感谢你的支持
微信支付二维码
打开微信扫描二维码(崔*杰)