16G显卡+qwen3.8 27B上下文200K，个人经验总结（65楼更新编程能力跑分对比）

绯色日照

非常感谢LZ的分享，我是5090DV2，只有24G显存，按你的经验现在已经部署好并连接到DSH了，感觉日常办公搞数据分析蛮好（已经测试过 ），可以当生产力工具了。但我电脑内存只有32G，跑起来内存几乎是满的，也做不了别的事。看回帖的不少坛友都是64G内存，考虑双十一咬牙买个

qwased

绯色日照 发表于 2026-9-20 22:25
非常感谢LZ的分享，我是5090DV2，只有24G显存，按你的经验现在已经部署好并连接到DSH了，感觉日常办公搞数 ...

--load-mode none  加上这个就不吃内存了

体制

请问大佬们，搞个64g的m5 max跑32b的qwen3如何，我看jd官网预约价格25999，这比买个5080便宜，也是办公做数据分析。


—— 来自 鹅球 v4.0-alpha

大暴死

zhl1989666 发表于 2026-9-20 13:38
我现在用DSH，但是主楼里的伪长上下文插件装了后报错，直接启动不了，把错误信息拿去问DS说可能是版本不 ...

0.15的compaction basic有调整之前部署过dsh-compaction-instant的话更新后dsh会加载失败，这个坑我已经踩过了。解决方法是给dsh-compaction-instant单独设一套profile，通过单独的启动指令加载。dsh web启动就是加载常规dsh自带的compaction，dsh --profile web-xxxxx启动就是带dsh-compaction-instant的，这样后续更新如果影响已有插件的至少不会影响dsh本体的启动

—— 来自 Xiaomi 25019PNF3C, Android 16, 鹅球 v3.5.99

qwased

体制 发表于 2026-9-20 22:45
请问大佬们，搞个64g的m5 max跑32b的qwen3如何，我看jd官网预约价格25999，这比买个5080便宜，也是办公做数 ...

flash next或者买api吧
不太建议现在专门买硬件来本地跑模型，直接买api更划算

魔法师lain

qwased 发表于 2026-9-20 22:16
windows本身要吃1g，算了这个没

iq3xxs搞起来后gpu内存占用11.6g，
bonsai才占用8.7g还有很多剩余。我暂时试的应用都是完全没上下文的纯翻译。另外内存占用也不算很多，服务开起来后，内存占用从10g升到20g而已，还有30g剩余

—— 来自 HUAWEI ALT-AL10, Android 12, 鹅球 v3.5.99

qwased

魔法师lain 发表于 2026-9-20 23:07
iq3xxs搞起来后gpu内存占用11.6g，
bonsai才占用8.7g还有很多剩余。我暂时试的应用都是完全没上下文的纯 ...

接个DS让他调吧大肥鱼调llamacpp很拿手的

希望之花

所以现在5090突然涨价是因为DSH的原因吗

qwased

希望之花 发表于 2026-9-20 23:11
所以现在5090突然涨价是因为DSH的原因吗

5060ti都被扫了去给小公司跑llm/短剧工作流了
5090就是老黄不放货了

魔法师lain

qwased 发表于 2026-9-20 23:08
接个DS让他调吧大肥鱼调llamacpp很拿手的

试了一下厅里的htpc的2080ti 11g，bonsai的输出能到40t/s，gpu占用能有99%。看来是a3000魔改驱动的问题咯？不过这pc不像房里服务器那样一直开，且内存只有16g，用起来不是太方便

—— 来自 HUAWEI ALT-AL10, Android 12, 鹅球 v3.5.99

KT-7

3060 12G是不是只能用用qwen3.6 35B A3B

qwased

KT-7 发表于 2026-9-21 08:33
3060 12G是不是只能用用qwen3.6 35B A3B

gsq iq3xxs或者bonsai2

暗口崩子

体制 发表于 2026-9-20 22:45
请问大佬们，搞个64g的m5 max跑32b的qwen3如何，我看jd官网预约价格25999，这比买个5080便宜，也是办公做数 ...

纯数据工作涉及保密之类的硬性要求吗
没有的话永远不如买api