4GB 显卡就能装！DeepSeek V4 Pro 蒸馏版 Qwen3.5 9B 无审查 AI 模型本地部署教程｜图片识别、262K上下文

大家好，我是超哥。今天给大家分享 DeepSeek V4 Pro 蒸馏版 Qwen3.5 9B 无审查 AI 模型的本地部署教程！这款模型基于 Qwen3.5 9B，采用 DeepSeek V4 Pro 蒸馏路线，拥有约 90 亿参数，原生支持最高 262K 上下文，并支持多模态图片识别。今天我们将使用 llama.cpp 在本地部署，并接入 Hermes Agent。下面我们开始教程！

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB DDR5（3600 MHz）

一、大模型下载

夸克网盘模型下载地址：

Hugging Face 1 主模型下载地址：https://huggingface.co/mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-i1-GGUF/tree/main

Hugging Face 2 多模态下载地址：https://huggingface.co/mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF/tree/main

模型版本选择推荐（内存大的话，可以往上提版本）：

二、下载并配置 llama.cpp

1、下载并安装 llama.cpp

夸克网盘下载地址：https://pan.quark.cn/s/bb69c3b50e11?pwd=XFf6

Github 下载地址：https://github.com/ggml-org/llama.cpp/releases

注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。

2、AI 模型 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
chcp 65001 >nul
title DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.

llama-server.exe ^
  -m "models\模型名" ^
  --mmproj "models\DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic.mmproj-f16.gguf" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  --fit on ^
  -fa auto ^
  --jinja ^
  --parallel 1 ^
  --alias DeepSeek-V4-Pro-Qwen3.5-9B ^
  --temp 0.7 ^
  --top-p 0.8 ^
  --top-k 20 ^
  -ngl 99 ^
  -n 65536

pause

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

三、接入 Hermes Agent

Hermes Agent 下载地址：https://hermes-agent.nousresearch.com/

OpenAI api 参数：

API 秘钥: 随便填一个

Base URL：http://127.0.0.1:8085/v1

111

111

111

111

111

111

111