4GB 显卡就能装，速度贼快！Bonsai2 9B 超轻量多模态 AI 大模型本地部署教程｜图片识别、262K上下文

大家好，我是超哥。今天给大家分享 Bonsai2 9B 超轻量多模态 AI 大模型的本地部署教程！它最大的亮点就是模型体积极小，同时支持多模态视觉理解和 MTP 推理加速技术，并支持最高 262K 超长上下文，兼顾轻量化部署与长文本处理能力。今天我们将使用 llama.cpp 在本地部署这个模型，并接入 Hermes Agent，实现工具调用等 Agent 功能。下面我们开始教程！

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB DDR5（3600 MHz）

一、Bonsai2 9B 大模型下载

Hugging Face模型下载地址：https://huggingface.co/prism-ml/Ternary-Bonsai-2-9B-gguf

夸克网盘模型下载地址：https://pan.quark.cn/s/1369ae1d6daa?pwd=a68E

电脑配置模型选择推荐：

二、下载并配置专属 llama.cpp

1、下载专属 llama.cpp

Github项目下载地址：https://github.com/PrismML-Eng/llama.cpp/releases

夸克网盘项目下载地址：https://pan.quark.cn/s/5cd83ec9d4f1?pwd=DAup

2、Bonsai2 9B 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
chcp 65001 >nul
title Ternary-Bonsai-2-9B-MTP-Q8_0 - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.
echo       Model: Ternary-Bonsai-2-9B
echo.

llama-server.exe ^
  -m "models\模型名" ^
  --mmproj "models\Ternary-Bonsai-2-9B-mmproj-BF16.gguf" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  -ngl 99 ^
  --fit on ^
  -fa on ^
  --jinja ^
  --reasoning off ^
  --parallel 1 ^
  --alias Ternary-Bonsai-2-9B ^
  --temp 0.7 ^
  --top-k 20 ^
  --top-p 0.8 ^
  --min-p 0 ^
  --repeat-penalty 1.0 ^
  --presence-penalty 1.5 ^
  --repeat-last-n 64 ^
  --spec-type draft-mtp ^
  --spec-draft-n-max 2 ^
  --spec-draft-n-min 0 ^
  --spec-draft-p-min 0 ^
  -n 65536

pause

注意：如果不使用MTP加速的量化模型版本，去掉下面四个参数：

--spec-type draft-mtp ^

--spec-draft-n-max 2 ^

--spec-draft-n-min 0 ^

--spec-draft-p-min 0 ^

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

三、接入 Hermes Agent

Hermes Agent 下载地址：https://hermes-agent.nousresearch.com/

OpenAI api 参数：

API 秘钥: 随便填一个

Base URL：http://127.0.0.1:8085/v1