4GB 显卡就能装！MiniCPM-V 4.7 1B 多模态 AI 模型本地部署教程｜图片视频识别、256K上下文

大家好，我是超哥。今天给大家分享 MiniCPM-V 4.7 1B 多模态 AI 模型的本地部署教程。这个模型仅有 1B 参数，体积小、显存占用低，让普通电脑也能轻松运行多模态 AI。它不仅支持图片识别和视频识别，还支持最高 256K 上下文，能够处理更长的文本内容。部署到自己的电脑后，无需 API Token，也无需联网即可离线运行。我还会带大家将它接入 Hermes Agent，实现工具调用等 Agent 功能。下面我们开始今天的教程！

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB DDR5（3600 MHz）

一、MiniCPM-V 4.7 1B 大模型下载

Hugging Face模型下载地址：https://huggingface.co/AtomicChat/MiniCPM-V-4.7-1B-GGUF/tree/main

夸克网盘模型下载地址：https://pan.quark.cn/s/e88a09f74f15?pwd=GLAM

迅雷网盘模型下载地址：https://pan.xunlei.com/s/VP3q5X7beO518WDGKsQI_W8mA1?pwd=fqzn

二、下载并配置 llama.cpp

1、下载并安装 llama.cpp

Github项目下载地址：https://github.com/ggml-org/llama.cpp/releases

夸克网盘项目下载地址：https://pan.quark.cn/s/22829328376a?pwd=ysRA

迅雷网盘项目下载地址：https://pan.xunlei.com/s/VP3q5lUlMdwXFh1qe9I5PSh5A1?pwd=y3nh

版本	适用硬件	说明
Windows x64 (CPU)	Intel / AMD CPU	仅使用处理器运行
Windows arm64 (CPU)	ARM 架构 Windows 设备	适用于骁龙 X Elite 等 ARM 平台
Windows x64 (CUDA 12)	NVIDIA 显卡	推荐大多数 RTX/GTX 用户使用
Windows x64 (CUDA 13)	NVIDIA 显卡	适用于较新的 NVIDIA 驱动
Windows x64 (Vulkan)	AMD / Intel / NVIDIA 显卡	通用显卡加速版本
Windows x64 (SYCL)	Intel Arc 显卡	Intel Arc 用户专用版本
Windows x64 (HIP)	AMD Radeon 显卡	AMD 用户首选版本

注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。

2、MiniCPM-V 4.7 1B 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
title MiniCPM-V-4.7-1B - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.
echo       MiniCPM-V-4.7-1B
echo.

llama-server.exe ^
  -m "models\模型名" ^
  --mmproj "models\mmproj-MiniCPM-V-4.7-1B-BF16.gguf" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  --fit on ^
  -fa auto ^
  --jinja ^
  --reasoning off ^
  --parallel 1 ^
  --alias MiniCPM-V-4.7-1B ^
  --temp 0.6 ^
  --top-p 0.95 ^
  --top-k 20 ^
  --repeat-penalty 1.05 ^
  -n 65536

pause

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

参数	设置	说明
-m	MiniCPM-V-4.7-1B-Q8_0.gguf	指定 MiniCPM-V 4.7 1B 量化主模型
--mmproj	mmproj-MiniCPM-V-4.7-1B-BF16.gguf	加载多模态投影模块，启用图片识别与理解能力
--host	127.0.0.1	仅允许本机访问服务
--port	8085	设置 llama.cpp 服务端口，可通过浏览器访问本地 Web 界面
-c	65536	设置上下文长度为 64K Token，可根据硬件和实际需求调整
--fit	on	自动调整模型加载参数，尽可能适配可用显存和内存
-fa	auto	自动选择是否使用 Flash Attention
--jinja	开启	启用 Jinja 聊天模板处理
--reasoning	off	关闭推理输出模式；具体效果取决于当前 llama.cpp 版本及模型模板
--parallel	1	设置并行处理槽位为 1
--alias	MiniCPM-V-4.7-1B	设置 API 中显示的模型名称
--temp	0.6	控制生成内容的随机性，数值越高通常越有变化
--top-p	0.95	通过累计概率限制候选 Token 的采样范围
--top-k	20	每一步采样时限制候选 Token 数量
--repeat-penalty	1.05	适度惩罚重复内容，降低重复生成的概率
-n	65536	单次生成最多允许输出 65536 Token；实际输出长度还受上下文空间和请求参数限制