小体积不降智！Qwen3.8-27B 多模态 AI 模型本地部署，低配置电脑也能跑｜接入 Hermes Agent

大家好，我是超哥。今天给大家分享 Qwen3.8-27B GSQ+RCO AI 模型本地部署教程。它最大的特点是模型体积小、能力强、运行门槛低，在保持模型能力的同时，大幅压缩模型体积，让普通电脑也有机会运行 27B 大模型。同时还支持 131K上下文、多模态图像理解和 MTP加速技术，还可以接入 Hermes Agent。下面我们开始教程。

博主电脑环境

显卡：NVIDIA GeForce RTX 4080 SUPER（16GB）

CPU：AMD Ryzen 9 7900X 12-Core Processor（12核）

内存：64GB（3600 MHz）

主板：微星 MAG B650 TOMAHAWK WIFI（MS-7D75）

主硬盘：三星 SSD 970 EVO Plus 1TB

一、Qwen3.8-27B GSQ+RCO 大模型下载

Hugging Face下载地址：https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF/tree/main

夸克网盘下载地址：https://pan.quark.cn/s/93e55b48590e?pwd=a6MC

迅雷网盘下载地址：https://pan.xunlei.com/s/VP1UY-n3jiIwyOo_vBk3icSwA1?pwd=h79f

电脑配置选择推荐：

模型版本	文件大小	适用电脑	推荐说明
Qwen3.8-27B-GSQ-RCO-IQ2_XS	约 8.42 GB	8GB 显存及以上	体积最小
Qwen3.8-27B-GSQ-RCO-IQ2_XS-mtp	约 8.77 GB	8GB 显存及以上	支持 MTP 加速
Qwen3.8-27B-GSQ-RCO-IQ2_S	约 9.26 GB	8GB 显存及以上	效果与占用均衡
Qwen3.8-27B-GSQ-RCO-IQ2_S-mtp	约 9.61 GB	8GB 显存及以上	均衡且支持 MTP
Qwen3.8-27B-GSQ-RCO-IQ3_XXS	约 10.1 GB	12GB 显存及以上	精度进一步提升
Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp	约 10.4 GB	12GB 显存及以上	精度与速度兼顾
Qwen3.8-27B-GSQ-RCO-IQ3_S	约 11.8 GB	16GB 显存及以上	综合效果更好
Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp	约 12.1 GB	16GB 显存及以上	高精度且支持 MTP
mmproj-Qwen3.8-27B-BF16	约 931 MB	--	多模态

X超哥推特(X)：https://x.com/xchaoge

二、下载并配置 llama.cpp

1、下载并安装 llama.cpp

Github 下载地址：https://github.com/ggml-org/llama.cpp/releases

夸克网盘下载地址：https://pan.quark.cn/s/157a2cc23867?pwd=QhEj

迅雷网盘下载地址：https://pan.xunlei.com/s/VP1UYKN09L-WLRNB7qMTtN2VA1?pwd=xhi2

版本	适用硬件	说明
Windows x64 (CPU)	Intel / AMD CPU	仅使用处理器运行
Windows arm64 (CPU)	ARM 架构 Windows 设备	适用于骁龙 X Elite 等 ARM 平台
Windows x64 (CUDA 12)	NVIDIA 显卡	推荐大多数 RTX/GTX 用户使用
Windows x64 (CUDA 13)	NVIDIA 显卡	适用于较新的 NVIDIA 驱动
Windows x64 (Vulkan)	AMD / Intel / NVIDIA 显卡	通用显卡加速版本
Windows x64 (SYCL)	Intel Arc 显卡	Intel Arc 用户专用版本
Windows x64 (HIP)	AMD Radeon 显卡	AMD 用户首选版本

注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。

2、Qwen3.8-27B GSQ+RCO 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本（已加入MTP加速参数，之前忘记加了）

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
title Qwen3.8-27B GSQ+RCO - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.

llama-server.exe ^
  -m "models\模型名" ^
  --mmproj "models\mmproj-Qwen3.8-27B-BF16.gguf" ^
  --no-mmproj-offload ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  -ngl 99 ^
  -fa auto ^
  --jinja ^
  --parallel 1 ^
  --alias Qwen3.8-27B-GSQ-RCO ^
  --temp 1.0 ^
  --top-p 0.95 ^
  --top-k 20 ^
  --min-p 0 ^
  --repeat-penalty 1.0 ^
  --spec-type draft-mtp ^
  --spec-draft-n-max 3

pause

访问控制面板 URL：

http://127.0.0.1:8085