比肩 Opus5.5、GPT-6 Astra！Qwen3.8-27B-Coder390 多模态 AI 模型本地部署+实测｜接入 DeepSeek Harness

大家好，我是超哥。今天给大家分享 Qwen3.8-27B-Coder390 多模态 AI 模型的本地部署教程。这个模型最大的特点就是编程能力强、推理效率大幅提升，通过蒸馏顶级模型，强化代码生成和解决复杂问题的能力。它还支持图片理解和 MTP 加速技术，模型部署到自己的电脑上之后，不需要 API Token，也不需要联网，就可以直接本地运行。我还会带大家将它接入 DeepSeek Harness，实现工具调用等 Agent 功能。我们直接开始教程。

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB DDR5（3600 MHz）

一、Qwen3.8-27B-Coder390 模型下载

Hugging Face模型下载地址：https://huggingface.co/nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-GGUF-NInfer/tree/main/GGUF

夸克网盘模型下载地址：https://pan.quark.cn/s/2a045069dcd9?pwd=HZ4R

电脑配置模型选择推荐（建议最低 12GB 显存，内存大的可以往下再提一格）：

注：显存为参考建议，实际需求取决于上下文长度。

二、下载并配置 llama.cpp

1、下载并安装 llama.cpp

Github项目下载地址：https://github.com/ggml-org/llama.cpp/releases

夸克网盘项目下载地址：https://pan.quark.cn/s/2a045069dcd9?pwd=HZ4R

注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。

2、Qwen3.8-27B-Coder390 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
title Qwen3.8-27B-Coder390-EfficientThink-MTP - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.
echo       Qwen3.8-27B-Coder390-EfficientThink
echo.

llama-server.exe ^
  -m "models\模型名" ^
  --mmproj "models\mmproj-Qwen3.8-27B-Q8_0.gguf" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 8192 ^
  --fit on ^
  -fa auto ^
  --jinja ^
  --parallel 1 ^
  --alias Qwen3.8-27B-Coder390 ^
  --temp 0.6 ^
  --top-p 0.95 ^
  --top-k 20 ^
  --repeat-penalty 1.05 ^
  --cache-type-k q8_0 ^
  --cache-type-v q8_0 ^
  --spec-type draft-mtp ^
  --spec-draft-n-max 4 ^
  -n 24576

pause

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

三、接入 DeepSeek Harness

DeepSeek Harness 下载地址：https://www.deepseek.com/harness/

接入参数：

Provider ID: llamacpp

显示名称: llamacpp

API 地址：http://127.0.0.1:8085/v1

API 协议: OpenAI Chat Completions

API Key: 随便填一个

添加模型：点击"获取可用模型"