Qwen3.8-27B 压缩9倍！Bonsai 2 27B 多模态 AI 模型本地部署教程｜接入 Hermes Agent

大家好，我是超哥。今天给大家分享 Bonsai 2 27B 多模态 AI 模型本地部署教程。它将 Qwen3.8-27B 压缩了约9倍，模型体积仅 5.9GB，让低配电脑也可以运行，同时支持最高 262K上下文和多模态图片识别。接下来我会带大家一步步完成模型的本地部署，并将它接入 Hermes Agent，实现工具调用、网页操作等 Agent功能。下面我们开始教程。

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB（3600 MHz）

一、Bonsai 2 27B 大模型下载

Hugging Face下载地址：https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf/tree/main

夸克网盘下载地址：https://pan.quark.cn/s/b922df5cf0d2?pwd=dp3u

注意：网盘下载地址里的内容一定要保存到你自己的网盘，我后面会删掉。

电脑配置模型选择推荐（内存大的可以往下再提一格）：

X超哥推特(X)：https://x.com/xchaoge

二、下载并配置 专属 llama.cpp

1、下载并安装 专属 llama.cpp

Github 下载地址：https://github.com/PrismML-Eng/llama.cpp/releases

夸克网盘下载地址：https://pan.quark.cn/s/78479f8614e9?pwd=hpka

注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。

2、Bonsai 2 27B 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
title Ternary-Bonsai-2-27B - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.

llama-server.exe ^
  -m "models\模型名" ^
  --mmproj "models\Ternary-Bonsai-2-27B-mmproj-BF16.gguf" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  -ngl 99 ^
  -fa on ^
  --jinja ^
  --parallel 1 ^
  --alias Ternary-Bonsai-2-27B ^
  --temp 1.0 ^
  --top-p 0.95 ^
  --top-k 20 ^
  --min-p 0 ^
  --repeat-penalty 1.0 ^
  --cache-type-k q8_0 ^
  --cache-type-v q8_0 ^
  --reasoning on ^
  -n 32768

pause

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

三、接入 Hermes Agent

Hermes Agent 下载地址：https://hermes-agent.nousresearch.com/

夸克网盘下载地址：https://pan.quark.cn/s/fd2e158b2d8b?pwd=RtRG

OpenAI api 参数：

API 秘钥: 随便填一个

Base URL：http://127.0.0.1:8085/v1