8GB 显卡也能装！ LFM2.5-24B-A2B 无审查版 AI 模型本地部署教程｜131K上下文

大家好，我是超哥。今天给大家分享 LFM2.5-24B-A2B 无审查版 AI 模型的本地部署教程。它拥有 24B 总参数、2B 激活参数，支持最高 131K 上下文，并且主打更开放的回答风格。今天我们将使用 llama.cpp 本地部署，并接入 Hermes Agent。下面开始今天的教程！

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB DDR5（3600 MHz）

一、LFM2.5-24B-A2B 大模型下载

Hugging Face模型下载地址：https://huggingface.co/AtomicChat/LFM2.5-24B-A2B-Uncensored-GGUF/tree/main

夸克网盘模型下载地址：https://pan.quark.cn/s/97c88aa26d0f?pwd=s2Xy

迅雷网盘模型下载地址：https://pan.xunlei.com/s/VP3upvEnos4CQq7kU5pBsRrlA1?pwd=g2mu

电脑配置模型选择推荐（建议最低 8GB 显存）：

二、下载并配置 llama.cpp

1、下载并安装 llama.cpp

Github项目下载地址：https://github.com/ggml-org/llama.cpp/releases

夸克网盘项目下载地址：https://pan.quark.cn/s/8dcef244efec?pwd=TM92

迅雷网盘项目下载地址：https://pan.xunlei.com/s/VP3uf7aY_uP6z1c9NXp-wkA3A1?pwd=4gkr

注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。

2、LFM2.5-24B-A2B 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
title LFM2.5-24B-A2B-Uncensored - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.
echo       Model: LFM2.5-24B-A2B-Uncensored
echo.

llama-server.exe ^
  -m "models\模型名" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  --fit on ^
  -fa auto ^
  --jinja ^
  --reasoning off ^
  --parallel 1 ^
  --alias LFM2.5-24B-A2B-Uncensored ^
  --temp 0.1 ^
  --top-k 50 ^
  --repeat-penalty 1.05 ^
  -n 65536

pause

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

三、接入 Hermes Agent

Hermes Agent 下载地址：https://hermes-agent.nousresearch.com/

OpenAI api 参数：

API 秘钥: 随便填一个

Base URL：http://127.0.0.1:8085/v1