扩散式 AI 模型来了！Clover 35B-A3B Preview 本地部署教程 + 实测｜350亿参数、128K上下文

大家好，我是超哥。今天给大家分享 Clover 35B-A3B Preview 扩散语言 AI 模型的本地部署教程！这款模型拥有 350 亿总参数、约 30 亿激活参数，支持最高 128K 上下文。它采用全新的扩散式生成技术，支持文本分块并行生成。今天我们将使用专属优化版 llama.cpp 在本地部署，并接入 Hermes Agent，实现工具调用等功能。下面我们开始教程！

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB DDR5（3600 MHz）

一、Clover 35B-A3B Preview 大模型下载

夸克网盘模型下载地址：https://pan.quark.cn/s/d164fd41cb84?pwd=HBmX

Hugging Face 模型下载地址：https://huggingface.co/Diffuspace/Clover-35B-A3B-Preview-GGUF/tree/main

模型版本选择推荐（8GB 显卡 + 内存可能会很慢）：

二、下载并配置专属 llama.cpp

1、下载并安装专属 llama.cpp

夸克网盘下载地址：https://pan.quark.cn/s/3c4226b06ae4?pwd=nLst

Hugging Face 下载地址：https://huggingface.co/IsValorum/llama.cpp-clover-moe/tree/main

2、Clover 35B-A3B Preview 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
chcp 65001 >nul
title Clover-35B-A3B-Preview - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo       Clover-35B-A3B-Preview
echo ========================================
echo.

cd /d "%~dp0bin"

llama-server.exe ^
  -m "..\models\模型名" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -ngl 99 ^
  -fa on ^
  -c 65536 ^
  --jinja ^
  --parallel 1 ^
  --alias Clover-35B-A3B-Preview ^
  --presence-penalty 0.9 ^
  --repeat-penalty 1.05 ^
  --temp 0 ^
  --top-k 1 ^
  --seed 42 ^
  -ctk bf16 ^
  -ctv bf16 ^
  -b 256 ^
  -ub 256 ^
  -t 8 ^
  -tb 8 ^
  -n 65536

pause

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

三、接入 Hermes Agent

Hermes Agent 下载地址：https://hermes-agent.nousresearch.com/

OpenAI api 参数：

API 秘钥: 随便填一个

Base URL：http://127.0.0.1:8085/v1