太牛逼了!12GB 显卡就能跑!DeepSeek-V4.1-Flash-1017 Strata版 AI 大模型本地部署教程|接入 Harness

大家好,我是超哥。今天给大家分享 DeepSeek-V4.1-Flash-1017 AI 大模型的本地部署教程!通过 Strata 专用推理引擎,最低 12GB 显存的显卡就能运行!我还将带大家接入 DeepSeek Harness,实现 DeepSeek 免费使用,彻底告别 Token 费用!下面我们开始教程。

博主电脑环境

显卡:NVIDIA RTX 4080 SUPER(16GB)

CPU:AMD R9 7900X 12-Core Processor(12核)

内存:64GB DDR5(3600 MHz)

两种安装部署方式介绍

方法一:先下载模型,再部署

适合无法访问 Hugging Face 并下载几百GB模型文件的朋友。

方法二:直接运行 BAT 一键部署

适合能够访问 Hugging Face 并下载几百GB模型文件的朋友。

后面安装称呼:

需要先下载模型的用户叫:手动下载用户

自动下载模型的用户叫:非手动下载用户

一、Strata 项目下载

夸克网盘下载地址:https://pan.quark.cn/s/80dee6a5b8f3?pwd=xW4g

Github 下载地址:https://github.com/Niko1221/Strata

二、下载模型文件(非手动下载用户跳过)

夸克网盘下载地址:https://pan.quark.cn/s/574269f404cd?pwd=kgVy

Hugging Face 下载地址:https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF/tree/main

Hugging Face 下载地址:https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF/tree/main/UD-Q8_K_XL

存放位置:D:\Strata-data\models(也可能不是D盘,看你的项目文件存放哪里。目录文件夹需要手动创建。)

文件名 文件大小 推荐显存 推荐说明
IQ1_M 约 239GB 12GB 体积最小,适合优先节省存储空间的用户。
IQ2_XXS 约 257GB 12GB 推荐版本,兼顾模型质量与存储空间。
IQ2_XS 约 274GB 12GB 量化精度更高,需要更多存储空间。
UD-Q8_K_XL 约 508.4GB 不建议 12GB 超大体积版本,适合高内存、多显卡设备。

三、下载推理引擎包

夸克网盘下载地址:https://pan.quark.cn/s/03d643b43578?pwd=H8fc

Github 下载地址:https://github.com/Niko1221/Strata/releases/tag/v0.2.5

英伟达显卡引擎包名称:strata-dsv41-0.1.50-windows-x86_64-cuda-cuda13.tar.gz

存放位置:\Strata-main\engine-dsv41(Strata-main 是你的项目路径,在里面创建 engine-dsv41 文件夹,下载到的压缩包解压文件放进去)

注意:博主手动下载并放入指定目录,有可能只是博主自身网络问题,理论会自动下载此文件

四、下载启动文件(非手动下载用户跳过)

夸克网盘下载地址:https://pan.quark.cn/s/1ed0fb1f6c62?pwd=bRcX

Github 下载地址:https://github.com/xchaoge/0108-DeepSeek-V4.1-Flash-1017-Strata-

存放位置:\Strata-main(Strata-main 是你的项目路径,2个启动文件放到项目路径根目录即可)

五、运行 Strata 项目

1. 手动下载用户

点击项目 Strata 项目根目录的 START-HERE-have-model.bat

2. 非手动下载用户

点击项目 Strata 项目根目录的 START-HERE.bat

访问控制面板 URL:http://127.0.0.1:8080/

上下文长度修改

修改 Strata 项目根目录的 strata-deepseek-v4.1-flash-ist-*.json 文件里面的 --max-context 参数。

六、接入 DeepSeek Harness

DeepSeek 官网地址:https://www.deepseek.com/

接入参数:

Provider ID: deepseek-strata

显示名称: deepseek-strata

API 地址:http://127.0.0.1:8080/v1

API 协议: OpenAI Chat Completions

API Key: 随便填一个

添加模型:点击"获取可用模型"

感谢您的支持
支付宝
微信支付
感谢您的支持
支付宝收款二维码

打开支付宝扫描二维码(崔*杰)

感谢您的支持
微信支付收款二维码

打开微信扫描二维码(崔*杰)

上一篇又快又强,超能打!FLUX 3 Image Klein 图片AI模型本地部署教程|文生图、图片编辑、多图融合、边界框布局控制 下一篇仅 4.88GB 大小!腾讯 WeVisOne-VL 2B 本地部署 + 实测:超强 AI 智能识图能力!
请我喝杯咖啡
如果喜欢本站的内容,欢迎请我喝杯咖啡
支付宝
微信支付
感谢你的支持
支付宝二维码
打开支付宝扫描二维码(崔*杰)
感谢你的支持
微信支付二维码
打开微信扫描二维码(崔*杰)