大家好，我是超哥。今天给大家分享 LFM3-VL-2B 多模态 AI 模型的本地部署教程！这款模型最小量化版仅约 1GB 大小，支持最高 128K 上下文，能够进行图片识别、OCR 文字提取和视频理解。今天我们将使用 llama.cpp 在本地部署，并接入 Hermes Agent，实现工具调用等功能。下面我们开始教程！
博主电脑环境
显卡：NVIDIA RTX 4080 SUPER（16GB）
CPU：AMD R9 7900X 12-Core Processor（12核）
内存：64GB DDR5（3600 MHz）
一、LFM3-VL-2B 大模型下载
夸克网盘模型下载地址：https://pan.quark.cn/s/81eb71b89c43?pwd=Rdew
Hugging Face 模型下载地址：https://huggingface.co/LiquidAI/LFM3-VL-2B-GGUF/tree/main
二、下载并配置 llama.cpp
1、下载并安装 llama.cpp
夸克网盘下载地址：https://pan.quark.cn/s/3bbb1867b776?pwd=tDCV
Github 下载地址：https://github.com/ggml-org/llama.cpp/releases
| 版本 | 适用硬件 | 说明 |
|---|---|---|
| Windows x64 (CPU) | Intel / AMD CPU | 仅使用处理器运行 |
| Windows arm64 (CPU) | ARM 架构 Windows 设备 | 适用于骁龙 X Elite 等 ARM 平台 |
| Windows x64 (CUDA 12) | NVIDIA 显卡 | 推荐大多数 RTX/GTX 用户使用 |
| Windows x64 (CUDA 13) | NVIDIA 显卡 | 适用于较新的 NVIDIA 驱动 |
| Windows x64 (Vulkan) | AMD / Intel / NVIDIA 显卡 | 通用显卡加速版本 |
| Windows x64 (SYCL) | Intel Arc 显卡 | Intel Arc 用户专用版本 |
| Windows x64 (HIP) | AMD Radeon 显卡 | AMD 用户首选版本 |
注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。
2、LFM3-VL-2B 接入 llama.cpp
把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）
3、配置启动脚本
llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat
@echo off chcp 65001 >nul title LFM3-VL-2B-BF16 - llama.cpp cd /d "%~dp0" echo. echo ======================================== echo XChaoGe.Com echo llama.cpp Local AI Server echo ======================================== echo. llama-server.exe ^ -m "models\模型名" ^ --mmproj "models\mmproj-LFM3-VL-2B-BF16.gguf" ^ --host 127.0.0.1 ^ --port 8085 ^ -c 65536 ^ --fit on ^ -fa auto ^ --jinja ^ --parallel 1 ^ --alias LFM3-VL-2B ^ --temp 0.1 ^ --top-p 1.0 ^ --top-k 50 ^ --min-p 0.0 ^ --repeat-penalty 1.1 ^ --no-reasoning-preserve ^ -ngl 99 ^ -n 65536 pause
访问控制面板 URL：
参数说明：
| 参数 | 设置 | 说明 |
|---|---|---|
| -m | models\模型名 | 指定 BF16 高精度模型文件 |
| --mmproj | models\多模态名 | 加载视觉投影文件，支持图片输入 |
| --host | 127.0.0.1 | 仅允许本机访问模型服务 |
| --port | 8085 | 设置服务监听端口 |
| -c | 65536 | 设置上下文长度，最大为128000 |
| --fit | on | 自动调整模型配置，以适配可用硬件资源 |
| -fa | auto | 自动设置 Flash Attention |
| --jinja | 开启 | 启用 Jinja 聊天模板处理 |
| --parallel | 1 | 设置单路并行处理 |
| --alias | LFM3-VL-2B | 设置 API 中的模型名称 |
| --temp | 0.1 | 控制生成随机性，较低的值通常使输出更稳定 |
| --top-p | 1.0 | 设置核采样阈值 |
| --top-k | 50 | 限制每次采样时参与选择的候选 Token 数量 |
| --min-p | 0.0 | 设置最小概率采样阈值 |
| --repeat-penalty | 1.1 | 适度抑制重复内容 |
| --no-reasoning-preserve | 开启 | 不保留上一轮的推理内容，需确认当前版本支持 |
| -ngl | 99 | 尽可能将模型层加载到 GPU |
| -n | 65536 | 设置单次回答最多生成的 Token 数量上限 |
三、接入 Hermes Agent
Hermes Agent 下载地址：https://hermes-agent.nousresearch.com/
OpenAI api 参数：
API 秘钥: 随便填一个
Base URL：http://127.0.0.1:8085/v1
