Qwen3.8-27B 压缩7倍！Saluki 27B 多模态 AI 模型本地部署+实测｜7.9GB模型、262K上下文

大家好，我是超哥。今天给大家分享 Underdog Saluki 27B 多模态 AI 模型的本地部署教程。这个模型最大的特点就是超轻量，把 Qwen3.8-27B 极致压缩到只有 7.9GB 左右，同时还支持图片理解，并且针对 Agent 和工具调用进行了专门优化。模型部署到自己的电脑上之后，不需要 API Token，也不需要联网，就可以直接本地运行。我还会带大家将它接入 Hermes Agent，实现工具调用等 Agent 功能。我们直接开始教程。

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB DDR5（3600 MHz）

一、Saluki 27B 大模型下载

Hugging Face模型下载地址：https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0/tree/main

夸克网盘模型下载地址：https://pan.quark.cn/s/f50cddcb7273?pwd=9FX4

迅雷网盘模型下载地址：https://pan.xunlei.com/s/VP3R0pydkFSVT0QzSqJMAAIbA1?pwd=prj7

二、下载并配置 llama.cpp

1、下载并安装 llama.cpp

Github项目下载地址：https://github.com/ggml-org/llama.cpp/releases

夸克网盘项目下载地址：https://pan.quark.cn/s/76ee659c9ca4?pwd=TLHU

迅雷网盘项目下载地址：https://pan.xunlei.com/s/VP3R1nS8g8VRALqYgL-pvtuoA1?pwd=mbm7

版本	适用硬件	说明
Windows x64 (CPU)	Intel / AMD CPU	仅使用处理器运行
Windows arm64 (CPU)	ARM 架构 Windows 设备	适用于骁龙 X Elite 等 ARM 平台
Windows x64 (CUDA 12)	NVIDIA 显卡	推荐大多数 RTX/GTX 用户使用
Windows x64 (CUDA 13)	NVIDIA 显卡	适用于较新的 NVIDIA 驱动
Windows x64 (Vulkan)	AMD / Intel / NVIDIA 显卡	通用显卡加速版本
Windows x64 (SYCL)	Intel Arc 显卡	Intel Arc 用户专用版本
Windows x64 (HIP)	AMD Radeon 显卡	AMD 用户首选版本

注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。

2、Saluki 27B 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
title Underdog-Saluki-27B-1.0 - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.
echo       Underdog-Saluki-27B-1.0
echo.

llama-server.exe ^
  -m "models\Underdog-Saluki-27B-1.0-IQ2-mix.gguf" ^
  --mmproj "models\mmproj-Underdog-Saluki-27B-1.0-F16.gguf" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  --fit on ^
  -fa auto ^
  --jinja ^
  --parallel 1 ^
  --alias Saluki-27B ^
  --temp 0.6 ^
  --top-p 0.95 ^
  --top-k 20 ^
  --repeat-penalty 1.05 ^
  --cache-type-k q8_0 ^
  --cache-type-v q8_0 ^
  -n 65536

pause

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

参数	设置	说明
-m	模型名	指定 Underdog Saluki 27B 量化主模型
--mmproj	多模态名	加载视觉投影模块，启用图片理解能力
--host	127.0.0.1	仅允许本机访问
--port	8085	设置 llama.cpp API 服务端口
-c	65536	设置 64K 上下文长度，可自行修改
--fit	on	根据设备显存情况自动调整模型加载参数
-fa	auto	自动使用 Flash Attention
--jinja	开启	启用模型聊天模板
--parallel	1	同时处理 1 个请求
--alias	Saluki-27B	设置 API 中显示的模型名称
--temp	0.6	控制生成内容的随机性
--top-p	0.95	控制候选 Token 的采样范围
--top-k	20	限制候选 Token 数量
--repeat-penalty	1.05	降低生成内容重复
--cache-type-k	q8_0	K Cache 使用 Q8_0 量化，降低 KV Cache 显存占用
--cache-type-v	q8_0	V Cache 使用 Q8_0 量化，降低 KV Cache 显存占用
-n	65536	最多生成 32768 Token