最强 AI 编程模型！Flint 40B 本地部署教程 + 实测｜262K 上下文，低显存也能跑

大家好，我是超哥。今天给大家分享 Flint 40B AI 编程模型的本地部署教程！这款模型专为 AI 编程打造，拥有约 398 亿总参数，每个 Token 仅激活约 25 亿参数，同时支持最高 262K 超长上下文，能够帮助我们分析代码、修复 Bug 和开发项目。今天我们将使用 llama.cpp 在本地部署，并接入 Hermes Agent，实现工具调用等功能。下面我们开始教程！

博主电脑环境

显卡：NVIDIA RTX 4080 SUPER（16GB）

CPU：AMD R9 7900X 12-Core Processor（12核）

内存：64GB DDR5（3600 MHz）

一、Flint 40B 大模型下载

夸克网盘模型下载地址：https://pan.quark.cn/s/dd0ea6e1a5d7?pwd=L5Fp

Hugging Face 模型下载地址：https://huggingface.co/unsloth/flint-GGUF/tree/main

模型版本选择推荐：

二、下载并配置 llama.cpp

1、下载并安装 llama.cpp

夸克网盘下载地址：https://pan.quark.cn/s/b7aab1520329?pwd=dtGB

Github 下载地址：https://github.com/ggml-org/llama.cpp/releases

注意：显卡用户别忘了下载下图主程序后面的DLLs文件，下载后把里面的内容解压到llama.ccp主程序的根目录里，不然无法使用显卡运行模型。

2、Flint 40B 接入 llama.cpp

把下载到的大模型放到 llama.ccp 程序的根目录下的 models 目录里（需自行创建目录）

3、配置启动脚本

llama.ccp 程序的根目录创建启动脚本，命名成：启动.bat

@echo off
chcp 65001 >nul
title Flint-40B - llama.cpp

cd /d "%~dp0"

echo.
echo ========================================
echo       XChaoGe.Com
echo       llama.cpp Local AI Server
echo ========================================
echo.
echo       Model: Flint-40B
echo.

llama-server.exe ^
  -m "models\模型名称" ^
  --host 127.0.0.1 ^
  --port 8085 ^
  -c 65536 ^
  --fit on ^
  -fa auto ^
  --jinja ^
  --parallel 1 ^
  --alias Flint-40B ^
  --temp 0.6 ^
  --top-p 0.95 ^
  --top-k 20 ^
  --repeat-penalty 1.05 ^
  -ngl 99 ^
  -n 65536

pause

访问控制面板 URL：

http://127.0.0.1:8085

参数说明：

三、接入 Hermes Agent

Hermes Agent 下载地址：https://hermes-agent.nousresearch.com/

OpenAI api 参数：

API 秘钥: 随便填一个

Base URL：http://127.0.0.1:8085/v1