大家好，我是超哥。今天给大家分享 TwIL-8B 开源 AI 推理模型的本地部署教程！这款模型拥有约 88 亿参数，主打数学推理、代码生成和复杂指令跟踪，支持最高 131K 上下文。今天我们将使用 llama.cpp 在本地部署，下面我们开始教程！
博主电脑环境
显卡：NVIDIA RTX 4080 SUPER（16GB）
CPU：AMD R9 7900X 12-Core Processor（12核）
内存：64GB DDR5（3600 MHz）
一、大模型下载
夸克网盘模型下载地址：https://pan.quark.cn/s/1e565ceb37e7?pwd=6pXA
Hugging Face 主模型下载地址：https://huggingface.co/webAI-Official/TwIL-8B/tree/main
| 文件名 | 文件大小 | 推荐显存 | 推荐说明 |
|---|---|---|---|
| TwIL-8B-Q4_K_M-balanced | 5.35 GB | 6GB+ | 均衡推理版本，推理过程较简洁，推荐日常使用 |
| TwIL-8B-Q4_K_M-verbose | 5.35 GB | 6GB+ | 详细推理版本，适合数学计算、复杂逻辑和编程任务，推荐优先选择 |
| TwIL-8B-Q8_0-verbose | 9.35 GB | 12GB+ | 8-bit 高精度量化版本，适合追求更高模型精度的用户 |
| TwIL-8B-F16-verbose | 17.6 GB | 24GB+ | F16 完整精度版本，模型精度高，适合大显存设备 |
二、下载并配置 llama.cpp
1、下载并安装 llama.cpp
夸克网盘下载地址：https://pan.quark.cn/s/4f69b6942bbe?pwd=zswA
Github 下载地址：https://github.com/ggml-org/llama.cpp/releases
| 版本 | 适用硬件 | 说明 |
|---|---|---|
| Windows x64 (CPU) | Intel / AMD CPU | 仅使用处理器运行 |
| Windows arm64 (CPU) | ARM 架构 Windows 设备 | 适用于骁龙 X Elite 等 ARM 平台 |
| Windows x64 (CUDA 12) | NVIDIA 显卡 | 推荐大多数 RTX/GTX 用户使用 |
| Windows x64 (CUDA 13) | NVIDIA 显卡 | 适用于较新的 NVIDIA 驱动 |
| Windows x64 (Vulkan) | AMD / Intel / NVIDIA 显卡 | 通用显卡加速版本 |
| Windows x64 (SYCL) | Intel Arc 显卡 | Intel Arc 用户专用版本 |
| Windows x64 (HIP) | AMD Radeon 显卡 | AMD 用户首选版本 |
注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。
2、AI 模型 接入 llama.cpp
把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）
3、配置启动脚本
llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat
@echo off chcp 65001 >nul title TwIL-8B - llama.cpp cd /d "%~dp0" echo. echo ======================================== echo XChaoGe.Com echo TwIL-8B echo llama.cpp Local AI Server echo ======================================== echo. llama-server.exe ^ -m "models\模型名" ^ --host 127.0.0.1 ^ --port 8085 ^ -c 65536 ^ --fit on ^ -fa auto ^ --jinja ^ --parallel 1 ^ --alias TwIL-8B ^ --temp 1.0 ^ --top-p 0.95 ^ -ngl 99 ^ -n 65536 pause
访问控制面板 URL：
参数说明：
| 参数 | 设置 | 说明 |
|---|---|---|
| -m | models\模型名 | 指定详细推理量化模型文件 |
| --host | 127.0.0.1 | 仅允许本机访问模型服务 |
| --port | 8085 | 设置服务监听端口 |
| -c | 65536 | 上下文长度，最大设置131072 |
| --fit | on | 自动调整模型配置，以适配可用硬件资源 |
| -fa | auto | 优化注意力计算性能 |
| --jinja | 开启 | 启用 Jinja 聊天模板处理 |
| --parallel | 1 | 设置单路并行处理 |
| --alias | TwIL-8B | 设置 API 中使用的模型名称 |
| --temp | 1.0 | 控制生成随机性，数值越高，输出通常越有创造性 |
| --top-p | 0.95 | 设置核采样阈值，控制候选 Token 的选择范围 |
| -ngl | 99 | 尽可能将模型层加载到 GPU |
| -n | 65536 | 单次回答最多Token，与 -c 参数值保持一致 |
五、接入 DeepSeek Harness 和 Hermes Agent
1. 接入 DeepSeek Harness
接入参数：
Provider ID: strata-qwen
显示名称: strata-qwen
API 地址：http://127.0.0.1:8080/v1
API 协议: OpenAI Chat Completions
API Key: 随便填一个
添加模型：点击"获取可用模型"
2. 接入 Hermes Agent
OpenAI api 参数：
API 秘钥: 随便填一个
Base URL：http://127.0.0.1:8080/v1
