大家好，我是超哥，今天给大家分享 Qwen3.8 27B 无审查越狱版 AI 大模型，支持 MTP 加速、llama.cpp 本地部署，无需 API、无需联网、完全免费，最低仅需 10GB 显存即可运行。本视频仅供学习和技术研究，请大家遵守当地法律法规，合理使用。我们下面开始教程。
一、下载并安装 llama.cpp
下载地址：https://github.com/ggml-org/llama.cpp
| 版本 | 适用硬件 | 说明 |
|---|---|---|
| Windows x64 (CPU) | Intel / AMD CPU | 仅使用处理器运行 |
| Windows arm64 (CPU) | ARM 架构 Windows 设备 | 适用于骁龙 X Elite 等 ARM 平台 |
| Windows x64 (CUDA 12) | NVIDIA 显卡 | 推荐大多数 RTX/GTX 用户使用 |
| Windows x64 (CUDA 13) | NVIDIA 显卡 | 适用于较新的 NVIDIA 驱动 |
| Windows x64 (Vulkan) | AMD / Intel / NVIDIA 显卡 | 通用显卡加速版本 |
| Windows x64 (SYCL) | Intel Arc 显卡 | Intel Arc 用户专用版本 |
| Windows x64 (HIP) | AMD Radeon 显卡 | AMD 用户首选版本 |
注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。
二、下载 Qwen3.8 27B 本地大模型
下载地址：https://huggingface.co/JonathanColetti/Qwen3.8-27B-Uncensored-GGUF/tree/main
要求：显卡显存要求10GB左右及以上
下载到的大模型放到llama.ccp程序的根目录下的models目录里（需自行创建目录）
| 版本 | 适用硬件 | 说明 |
|---|---|---|
| Qwen3.8 27B IQ2_M（10.6GB） | 10GB+ 显存 | 最低显存需求版本，量化程度较高，适合显存较小的设备 |
| Qwen3.8 27B IQ4_XS（15.3GB） | 16GB+ 显存 | 推荐版本，兼顾模型质量与显存占用，适合 RTX 4080 Super 等显卡 |
| Qwen3.8 27B Q4_K_M（16.8GB） | 16GB+ 显存 / 系统内存 | 质量与性能平衡较好的量化版本，显存不足时可配合 CPU Offload |
| Qwen3.8 27B Q5_K_M（19.5GB） | 20GB+ 显存 / 系统内存 | 更高精度量化版本，模型质量更好，但显存占用更高 |
| Qwen3.8 27B Q6_K（22.4GB） | 24GB+ 显存 | 高精度量化版本，适合 RTX 4090、RTX 5090 等大显存显卡 |
| Qwen3.8 27B Q8_0（29GB） | 32GB+ 显存 / 系统内存 | 高精度量化版本，模型质量接近原始精度，但显存占用较大 |
| Qwen3.8 27B draft Q8_0（3.16GB） | 搭配支持 Speculative Decoding 的主模型 | Draft 草稿模型，用于推测解码加速，不能单独作为完整主模型使用 |
| Qwen3.8 27B noMTP IQ2_M（10.2GB） | 10GB+ 显存 | 移除 MTP 的量化版本，可作为纯主模型配合外部 Draft 模型使用 |
| Qwen3.8 27B noMTP IQ4_XS（15.1GB） | 16GB+ 显存 | 移除 MTP 的推荐量化版本，适合配合外部 Draft 模型进行推测解码 |
| Qwen3.8 27B noMTP Q4_K_M（16.5GB） | 16GB+ 显存 / 系统内存 | 移除 MTP 的 Q4_K_M 版本，适合配合外部 Draft 模型使用 |
| Qwen3.8 27B noMTP Q5_K_M（19.2GB） | 20GB+ 显存 / 系统内存 | 移除 MTP 的高精度量化版本，可配合外部 Draft 模型使用 |
| Qwen3.8 27B noMTP Q6_K（22.1GB） | 24GB+ 显存 | 移除 MTP 的高精度量化版本，适合大显存显卡配合外部 Draft 模型使用 |
| Qwen3.8 27B noMTP Q8_0（28.6GB） | 32GB+ 显存 / 系统内存 | 移除 MTP 的高精度版本，显存占用较大，可配合外部 Draft 模型使用 |
| Qwen3.8 27B Vision F16（928MB） | 支持视觉功能的部署环境 | 视觉模块，用于图像理解等视觉能力，不是独立的 27B 主模型 |
三、配置启动 Qwen3.8 27B
创建启动脚本，命名成：启动.bat
@echo off title XChaoGe Qwen3.8 27B cd /d "%~dp0" llama-server.exe ^ -m "models\模型模型" ^ --host 127.0.0.1 ^ --port 8085 ^ -c 8192 ^ -ngl 999 ^ --flash-attn auto ^ --threads 16 ^ --cache-type-k q8_0 ^ --cache-type-v q8_0 ^ --temp 0.7 ^ --top-p 0.9 pause
访问控制面板 URL：
代码说明：
-m "models\模型名" ^
--port 端口号 ^
