无审查2B模型,太爽了!MiniCPM5-2B AI 模型本地部署教程|接入 Hermes Agent

大家好,我是超哥。今天给大家分享 无审查越狱版 MiniCPM5 2B AI 模型本地部署教程,相对于正式版,无审查版不会拒绝回答你的任何问题,问什么答什么,完全没有限制。它具备 131K 上下文,模型体积小、运行门槛低,即使是普通电脑也能轻松部署,还可以接入 Hermes Agent,实现工具调用等 Agent 功能。在实际测试中,它的运行速度优于 Qwen3.5-4B 和 Gemma 4 E2B。下面我们开始教程。

一、MiniCPM5-2B 无审查版大模型下载

Hugging Face下载地址:https://huggingface.co/mondk/MiniCPM5-2B-Abliterated-Uncensored-GGUF/tree/main

夸克网盘下载地址:https://pan.quark.cn/s/41a1cfbd90a2?pwd=jevw

迅雷网盘下载地址:https://pan.xunlei.com/s/VP1WJJ86s_CCYO3SOWAuM_gRA1?pwd=akjf

电脑配置选择推荐:

模型版本 文件大小 适用电脑 推荐说明
MiniCPM5-2B-IQ3_M 约 1.23 GB 2GB 显存或普通 CPU 文件最小,适合资源有限的电脑
MiniCPM5-2B-Q3_K_L 约 1.38 GB 2GB 以上显存或普通 CPU 资源占用较低,适合显存较小的电脑
MiniCPM5-2B-IQ4_XS 约 1.42 GB 2GB 以上显存或普通 CPU 体积小、效果较好,适合低显存设备
MiniCPM5-2B-Q4_K_M 约 1.56 GB 4GB 显存或普通 CPU 占用较低,兼顾效果与运行速度,优先推荐
MiniCPM5-2B-Q5_K_M 约 1.81 GB 4GB 以上显存 精度和速度均衡,适合大多数电脑
MiniCPM5-2B-Q6_K 约 2.07 GB 4GB 以上显存 精度较高,适合中端显卡
MiniCPM5-2B-Q8_0 约 2.68 GB 6GB 以上显存 接近 F16 精度,效果与速度均衡
MiniCPM5-2B-F16 约 5.04 GB 8GB 以上显存 精度最高,适合追求最佳模型效果

X超哥推特:https://x.com/xchaoge

二、下载并配置 llama.cpp

1、下载并安装 llama.cpp

Github下载地址:https://github.com/ggml-org/llama.cpp/releases

夸克网盘下载地址:https://pan.quark.cn/s/599d357d6175?pwd=dUHr

迅雷网盘下载地址:https://pan.xunlei.com/s/VP1WJi4_BZInmR9F-ksFTUfqA1?pwd=r8vm

版本 适用硬件 说明
Windows x64 (CPU) Intel / AMD CPU 仅使用处理器运行
Windows arm64 (CPU) ARM 架构 Windows 设备 适用于骁龙 X Elite 等 ARM 平台
Windows x64 (CUDA 12) NVIDIA 显卡 推荐大多数 RTX/GTX 用户使用
Windows x64 (CUDA 13) NVIDIA 显卡 适用于较新的 NVIDIA 驱动
Windows x64 (Vulkan) AMD / Intel / NVIDIA 显卡 通用显卡加速版本
Windows x64 (SYCL) Intel Arc 显卡 Intel Arc 用户专用版本
Windows x64 (HIP) AMD Radeon 显卡 AMD 用户首选版本

注意:显卡用户别忘了下载下图主程序后面的DLLs文件,下载后把里面的内容解压到llama.ccp主程序的根目录里,不然无法使用显卡运行模型。

2、MiniCPM5-2B 无审查版接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里(需自行创建目录)

3、配置启动脚本

创建启动脚本,命名成:启动.bat

@echo off
title MiniCPM5-2B Uncensored - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.

llama-server.exe ^
  -m "models\模型名" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  -ngl 99 ^
  -fa auto ^
  --jinja ^
  --parallel 1 ^
  --alias MiniCPM5-2B-Uncensored ^
  --temp 1.0 ^
  --top-p 0.95

pause

访问控制面板 URL:

http://127.0.0.1:8085

代码说明:

-m "models\模型名" ^

--port 端口号 ^

  -c 上下文长度 ^

三、接入 Hermes Agent

Hermes Agent 下载地址:https://hermes-agent.nousresearch.com/

夸克网盘下载地址:https://pan.quark.cn/s/2dbdf2a9ed43?pwd=CrMs

迅雷网盘下载地址:https://pan.xunlei.com/s/VP1Z4_exjiIwyOo_vBk73PRPA1?pwd=a8nv

OpenAI api 参数:

API 秘钥: 随便填一个

Base URL:http://127.0.0.1:端口号/v1

感谢您的支持
支付宝
微信支付
感谢您的支持
支付宝收款二维码

打开支付宝扫描二维码(崔*杰)

感谢您的支持
微信支付收款二维码

打开微信扫描二维码(崔*杰)

上一篇小体积不降智!Qwen3.8-27B 多模态 AI 模型本地部署,低配置电脑也能跑|接入 Hermes Agent 下一篇小体积也能打!腾讯 Hy-MT2 1.8B 多语言翻译 AI 模型本地部署教程|33种语言|无需联网|CPU也能跑
请我喝杯咖啡
如果喜欢本站的内容,欢迎请我喝杯咖啡
支付宝
微信支付
感谢你的支持
支付宝二维码
打开支付宝扫描二维码(崔*杰)
感谢你的支持
微信支付二维码
打开微信扫描二维码(崔*杰)