16G显卡+qwen3.8 27B上下文200K，个人经验总结（65楼更新编程能力跑分对比）

qwased · 发表于 2026-8-31 11:01

farAway 发表于 2026-8-31 10:52
我感觉QWEN现在越来越蠢了，25年用的时候简直惊艳，现在感觉话都听不明白。另外搭车问一下，如果要本地部署 ...

我觉得就按游戏机来搭好点，高强度用我是肯定用在线模型的

在线模型和本地模型之间存在一堵高墙

流浪的翅膀 · 发表于 2026-8-31 11:28

farAway 发表于 2026-8-31 10:52
我感觉QWEN现在越来越蠢了，25年用的时候简直惊艳，现在感觉话都听不明白。另外搭车问一下，如果要本地部署 ...

简单任务可以自己机子弄。
但别一边玩大型游戏一边 ai 跑任务。容易爆显存

—— 来自 samsung SM-S9210, Android 16, 鹅球 v3.5.99

dear81 · 发表于 2026-8-31 11:29

提示: 作者被禁止或删除内容自动屏蔽

johnnycz · 发表于 2026-8-31 11:34

farAway 发表于 2026-8-31 10:52
我感觉QWEN现在越来越蠢了，25年用的时候简直惊艳，现在感觉话都听不明白。另外搭车问一下，如果要本地部署 ...

不同时占显存就行

qwased · 发表于 2026-8-31 11:37

dear81 发表于 2026-8-31 11:29
可惜了，我有1t内存，但是显卡不达标，只有8g

v100 2080ti之类的就行，可以跑很多flash模型了

RookieTnT · 发表于 2026-8-31 12:10

这种小模型dense模型,q4量化和q8量化编码场景性能差距很大,至少q6起步

大暴死 · 发表于 2026-8-31 13:11

farAway 发表于 2026-8-31 10:49
请问一下这样部署需要占多大存储空间？32G内存电脑能跑吗，我是583+5070TI

LZ的qwen3.8 27B Apex I Mini模型就13.9G，多模态的mmproj文件1G左右让cpu跑，上下文64k以内的话正常情况全在显存里不会溢出到内存（tk/s不低于25就说明没问题）。不像minimax H3这种视频模型，哪怕32g显存的5090都没办法全在显存里跑。

—— 来自 Xiaomi 25019PNF3C, Android 16, 鹅球 v3.5.99

大暴死 · 发表于 2026-8-31 13:13

qwased 发表于 2026-8-31 10:28
更新到主楼了

感谢，那我要试试IQ3XXS了，apex mini开思考，64k上下**点小任务还是慢了，关思考成品一坨

—— 来自 Xiaomi 25019PNF3C, Android 16, 鹅球 v3.5.99

qwased · 发表于 2026-8-31 13:46

大暴死发表于 2026-8-31 13:13
感谢，那我要试试IQ3XXS了，apex mini开思考，64k上下**点小任务还是慢了，关思考成品一坨

—— 来自 Xi ...

开了mtp能稳定90tk/s真有点用dsflash的味道了，就是依然要抽卡，如果一开始就想歪了就没救，得重开对话

chaoliu · 发表于 2026-8-31 13:50

让kimi按照楼主方案部署好了，昨晚让k3测试了一晚上（699快到期了没用完猛蹬

），今天晚上试试咸淡

qwased · 发表于 2026-8-31 14:11

https://github.com/spiritbuun/buun-llama-cpp 这个llamacpp可以处理图像的时候把视觉模型加载进来，处理完了再踢出去，理论上可以完美解决cpu处理视觉慢的问题，我试一下

jojog · 发表于 2026-8-31 14:45

32G能求问下上下文能拉到多少么

200k真感觉也就写个小程序了，做啥都不够用啊

qwased · 发表于 2026-8-31 14:50

jojog 发表于 2026-8-31 14:45
32G能求问下上下文能拉到多少么

200k真感觉也就写个小程序了，做啥都不够用啊 ...

tb4+4量化开到1m都行啊，但是能开不代表能用

智力和解码速度都会巨幅衰减
优先用上下文管理插件和记忆文档来解决吧

c月光咖啡 · 发表于 2026-8-31 15:08

jojog 发表于 2026-8-31 14:45
32G能求问下上下文能拉到多少么

200k真感觉也就写个小程序了，做啥都不够用啊 ...

用大参数模型写计划，agent用小参数模型起若干个subagent执行任务，，一般subagent用不到太大的上下文

—— 来自 HONOR MAA-AN10, Android 16, 鹅球 v3.5.99-debug

魔法师lain · 发表于 2026-8-31 15:28

12g显存是否选Qwen3.8-27B-UD-Q2_K_XL.gguf？
内存有50g，再挤点应该能上50g，不知道够不够。

大暴死 · 发表于 2026-8-31 15:29

qwased 发表于 2026-8-31 13:46
开了mtp能稳定90tk/s真有点用dsflash的味道了，就是依然要抽卡，如果一开始就想歪了就没救，得重开对话 ...

多问一嘴，unsloth的IQ3 S和XXS在三分和实际应用场景是不是基本没区别，只差了1.1G

—— 来自 Xiaomi 25019PNF3C, Android 16, 鹅球 v3.5.99

三壮同志 · 发表于 2026-8-31 20:52

按照lz的配置自己又稍微修改了一下：

用 24G 显卡（4090 D），最终效果：Qwen3.8-27B 去审查（abliterated）+ 256K 上下文 + MTP 推测解码 + 思维链正常输出 + 实测最高 105 t/s

1. 硬件与环境：RTX 4090 D 24GB / i9-14900KF / 64GB RAM / Win11。把上下文可以顶到256K。

2. 模型与量化选择

huihui-ai/Huihui-Qwen3.8-27B-abliterated-GGUF 的 UD-IQ3_XXS（10.26GB）——去审查版，保留工具调用能力
MTP 头：官方 unsloth/Qwen3.8-27B-GGUF 的 MTP/mtp-Qwen3.8-27B-Q4_0.gguf（1.28GB），与 abliterated 版实测兼容（同基模）

3. 分支与模板：同楼主——atomic-llama-cpp-turboquant（b10269-1.5.1，CUDA 12.4）+ 思维链补丁 froggeric（v22.4）

qwased · 发表于 2026-8-31 21:16

魔法师lain 发表于 2026-8-31 15:28
12g显存是否选Qwen3.8-27B-UD-Q2_K_XL.gguf？
内存有50g，再挤点应该能上50g，不知道够不够。 ...

内存足够大的话可以考虑上qwen3.8 next了，64G+12G可以保持15tk/s跑200K上下文+Q4量化

你跑27b要么智力极低要么速度也是十几tk/s

qwased · 发表于 2026-8-31 22:12

https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF 这个模型宣称他们用IQ3XXS的大小实现了Q5级别的量化质量，尝尝咸淡 @魔法师lain 你也可以试试12G跑他的IQ2什么水平

diohanmilton · 发表于 2026-8-31 22:15

可不可以由高级模型来规划出方案，然后用这个来执行？

qwased · 发表于 2026-8-31 22:17

diohanmilton 发表于 2026-8-31 22:15
可不可以由高级模型来规划出方案，然后用这个来执行？

你不嫌慢就行，我试过让网页的DSv4pro写计划给它实现，效果还不错

qwased · 发表于 2026-9-1 05:35

Qwen3.8-27B-GSQ-RCO-IQ3_XXS 这个模型好像有点东西但是表现很奇怪，作者宣称编程能力对标满血bf16的，但是跑分经常会截断，做那些常见的测试demo也总是跑出来个华丽的壳子，核心功能不正常，不像ud iq3xxs会跑个简陋但是能用的东西

测试分倒是很高

farAway · 发表于 2026-9-1 10:49

大暴死发表于 2026-8-31 13:11
LZ的qwen3.8 27B Apex I Mini模型就13.9G，多模态的mmproj文件1G左右让cpu跑，上下文64k以内的话正常情况 ...

实地部署能做啥，可以帮忙编程写PPT么，要一键生成的那种

大暴死 · 发表于 2026-9-1 11:10

farAway 发表于 2026-9-1 10:49
实地部署能做啥，可以帮忙编程写PPT么，要一键生成的那种

本地大模型开联网(duckduckgo)+comfyui调用z-image turbo生图做本地ppt的想法我实践过，最后效果不太行，还是改用DSH+dsv4f部署之前其他帖子里提到的Kimi ppt skill做ppt了，效果不能说很好至少可用

你自己写点小文，写点小工具甚至python arcade/h5小游戏玩玩还是可以的，反正我也没太多生产力需求就是玩玩

—— 来自 Xiaomi 25019PNF3C, Android 16, 鹅球 v3.5.99

farAway · 发表于 2026-9-1 11:19

大暴死发表于 2026-9-1 11:10
本地大模型开联网(duckduckgo)+comfyui调用z-image turbo生图做本地ppt的想法我实践过，最后效果不太行， ...

KIMI现在一脸死像，给钱都不收，它的PPT听说是真的好。
我用Qwen做了PPT，跟智障似的，完全不能理解意图。

我现在就想要个KIMI WORK一样的产品，一键生成报告，一键写CODE

大暴死 · 发表于 2026-9-1 11:20

qwased 发表于 2026-8-27 17:39
这是目前个人使用比较舒适的一个组合，仅供参考
最终效果：Qwen3.8 27B 保留视觉 + 长上下文（iq ...

请教LZ个问题，如果要开MTP，unsloth库里的mtp-Qwen3.8-27B-Q4（1.37GB)文件是必备的么，IQ3-S和IQ3-XXS没集成？
是的话那启动项参数里也要加 -md "./model/mtp-qwen3.8-27B-Q4_0.gguf" 这一项吧，但我让Gemini评估了一下，说IQ3-XXS+MTP+120k上下文无法全程锁在显存内

—— 来自 Xiaomi 25019PNF3C, Android 16, 鹅球 v3.5.99

neptunehs · 发表于 2026-9-1 11:22

其实直接上llama跟用lmstudio比有啥优势我还在用后者昨晚碰到了一个神奇的bug毁掉了我一个opencode线程后就考虑要不要直接上llama

—— 来自 vivo V2561A, Android 16, 鹅球 v4.0

qwased · 发表于 2026-9-1 15:19

大暴死发表于 2026-9-1 11:20
请教LZ个问题，如果要开MTP，unsloth库里的mtp-Qwen3.8-27B-Q4（1.37GB)文件是必备的么，IQ3-S和IQ3-XXS ...

除了iq2去掉mtp以外其他全部集成q4的mtp啊，独立的那个好像是q8的
我看评测说虽然mtp数学无损，但是量化到q4及以下的mtp上下文一长就会积累严重误差最终导致降智的

qwased · 发表于 2026-9-1 15:20

neptunehs 发表于 2026-9-1 11:22
其实直接上llama跟用lmstudio比有啥优势我还在用后者昨晚碰到了一个神奇的bug毁掉了我一个opencode线程后 ...

lmstudio不能把视觉塞给cpu跑

长谷川红叶 · 发表于 2026-9-1 15:22

Ollama宣布涨价啊。

等等党别等了，我们失败了……

qwased · 发表于 2026-9-1 15:40

本帖最后由 qwased 于 2026-9-1 16:00 编辑

qwased 发表于 2026-9-1 05:35
Qwen3.8-27B-GSQ-RCO-IQ3_XXS 这个模型好像有点东西但是表现很奇怪，作者宣称编程能力对标满血bf16的，但 ...

感觉发现问题了，这个模型好像中文奇差，用英文会好很多

英文指令和IQ4XS比差不多了

大暴死 · 发表于 2026-9-1 16:40

qwased 发表于 2026-9-1 15:19
除了iq2去掉mtp以外其他全部集成q4的mtp啊，独立的那个好像是q8的
我看评测说虽然mtp数学无损，但是量化 ...

那奇怪了，昨天我想测测iQ3-S，启动参数里也加了
--spec-type draft-mtp
--spec-draft-n-max 2
但不论是我DSH里的测试，还是跑zx-bench都只有30-40 tk/s，llama-server控制台也没有spec_accpet_rate等mtp命中信息

—— 来自 Xiaomi 25019PNF3C, Android 16, 鹅球 v3.5.99

qwased · 发表于 2026-9-1 16:57

大暴死发表于 2026-9-1 16:40
那奇怪了，昨天我想测测iQ3-S，启动参数里也加了
--spec-type draft-mtp
--spec-draft-n-max 2

你确定你下的是ud iq3_s吗，我试了下没问题啊，mtp接受率70%左右

魔法师lain · 发表于 2026-9-1 22:28

qwased 发表于 2026-9-1 15:40
感觉发现问题了，这个模型好像中文奇差，用英文会好很多英文指令和IQ4XS比差不多了 ...

拿来跑翻译不太行吗

—— 来自 HUAWEI ALT-AL10, Android 12, 鹅球 v3.5.99

qwased · 发表于 2026-9-1 22:42

魔法师lain 发表于 2026-9-1 22:28
拿来跑翻译不太行吗

—— 来自 HUAWEI ALT-AL10, Android 12, 鹅球 v3.5.99

我感觉qwen3.6 3.8的写作特别是中文特别恶心……还得是DS3.2

大暴死 · 发表于 2026-9-1 23:51

qwased 发表于 2026-9-1 16:57
你确定你下的是ud iq3_s吗，我试了下没问题啊，mtp接受率70%左右

我把上下文从100k改为84k就正常了，60-70tk/s这样...DSH里让dsv4fv出题，然后IQ3-XXS和S都think-on分别做题传给dsv4fv评判，同时把llama-server后台的tk/s和mtp接受率等信息也给到做综合评判。
题目上两边都对，只是S模型比XXS更严谨；速度上XXS 75-85tk/s，S是65-72tk/s，有差异但不算大。DSV4fv建议是用S模型跑智秀编程评测，理论表现会更好。我明天下班后跑跑看吧

—— 来自 Xiaomi 25019PNF3C, Android 16, 鹅球 v3.5.99

qwased · 发表于 2026-9-2 00:47

大暴死发表于 2026-9-1 23:51
我把上下文从100k改为84k就正常了，60-70tk/s这样...DSH里让dsv4fv出题，然后IQ3-XXS和S都think-on分别做 ...

我让DS撸了个deepswe的启动器，慢慢跑完吧

现在比较好奇那个GSQ-RCO版，他宣称的是完整保留满血版的编程能力，但是我跑demo感觉不像

qwased · 发表于 2026-9-2 06:11

https://hf-mirror.com/ISTA-DASLa ... -RCO-GGUF/tree/main
喷了，这个IQ3_S没有不懂中文的毛病了，跑了几个常见DEMO非常炸裂，体感真的有Q5甚至Q6的量化水平
强烈推荐16G显存的坛友把模型换成这个IQ3_S-MTP

紧那罗 · 发表于 2026-9-2 06:17

jojog 发表于 2026-8-31 14:45
32G能求问下上下文能拉到多少么

200k真感觉也就写个小程序了，做啥都不够用啊 ...

200k怎么可能还只能写小程序，现在主流coding agent默认也就开到200多k的上下文

—— 来自 LENOVO TB320FC, Android 15, 鹅球 v3.5.99-alpha

qwased · 发表于 2026-9-2 06:23

紧那罗发表于 2026-9-2 06:17
200k怎么可能还只能写小程序，现在主流coding agent默认也就开到200多k的上下文

—— 来自 LENOVO TB320 ...

本地跑的时候上下文到80K左右decode速度就无法忍受了，而且百来K的时候触发上下文压缩都要等超久的prefill

还是别干太重的活了，除非是睡觉之前挂着睡醒看结果那种

		自动登录	找回密码
密码			立即注册

[科技] 16G显卡+qwen3.8 27B上下文200K，个人经验总结（65楼更新编程能力跑分对比）

本帖子中包含更多资源

dear81 dear81 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2005-11-15 头像被屏蔽	发表于 2026-8-31 11:29 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报