16G显卡+qwen3.8 27B上下文200K，个人经验总结（更新llamacpp推荐）

自由之紫roy · 发表于 2026-10-4 22:34

qwased 发表于 2026-10-4 20:52
strata支持并发了，这下真的核弹瘫坐了

我日啊，马上试试看

noneoneone · 发表于 2026-10-4 22:38

本帖最后由 noneoneone 于 2026-10-4 22:40 编辑

qwased 发表于 10-04 22:27
是指驱动重置吗

黑屏，驱动报找不到GPU，必须重启电脑才能恢复。
nvidia-smi: Unable to determine the device handle for GPU0: 0000:08:00.0:
GPU is lost. Reboot the system to recover this GPU
No devices were found

影响工作倒还是次要的，我担心老是这样会把GPU整出点什么毛病

——来自 2410DPN6CC 上的 S1er 客户端

qwased · 发表于 2026-10-4 22:51

noneoneone 发表于 2026-10-4 22:38
黑屏，驱动报找不到GPU，必须重启电脑才能恢复。
nvidia-smi: Unable to determine the device handle for ...

你让大肥鱼看看日志是哪里出问题了吧，strata对显卡的压力非常小的，按道理不应该这样
你看看系统日志里面是不是有whea，可能你的pcie跑不稳，流量一大就炸

kinfox · 发表于 2026-10-4 22:52

qwased 发表于 2026-10-4 20:52
strata支持并发了，这下真的核弹瘫坐了

刚刚去搞了，感觉很爽
然后ninfer也优化到300多的速度，感觉已经完全可以躺平等qwen4了
开源社区就是好啊！！！！

noneoneone · 发表于 2026-10-4 22:58

qwased 发表于 10-04 22:51
你让大肥鱼看看日志是哪里出问题了吧，strata对显卡的压力非常小的，按道理不应该这样
你看看系统日志里面是不是有whea，可能你的pcie跑不稳，流量一大就炸

现在跑的不是strata，是ninfer。我在让DS帮我分析。现在网页版有哪个ai能力比较强的

——来自 2410DPN6CC 上的 S1er 客户端

qwased · 发表于 2026-10-4 23:26

noneoneone 发表于 2026-10-4 22:58
现在跑的不是strata，是ninfer。我在让DS帮我分析。现在网页版有哪个ai能力比较强的

——来自 2410DPN6 ...

那你需要下个最新的hwinfo，看看是不是跑的时候GPU热点温度过105了，50系热点105以上会黑屏保护

qwased · 发表于 2026-10-4 23:28

kinfox 发表于 2026-10-4 22:52
刚刚去搞了，感觉很爽
然后ninfer也优化到300多的速度，感觉已经完全可以躺平等qwen4了
开源社区就是好 ...

300多咋整的，并发吗

自由之紫roy · 发表于 2026-10-4 23:36

我开到2并发256k了。应该没有任何问题了。

qwased · 发表于 2026-10-4 23:40

自由之紫roy 发表于 2026-10-4 23:36
我开到2并发256k了。应该没有任何问题了。

MOE并发开的越多越赚，dgx spark那种破烂都敢开64并发的

可以多开点做sub agent提速

lzchen · 发表于 2026-10-4 23:41

自由之紫roy 发表于 2026-10-4 23:36
我开到2并发256k了。应该没有任何问题了。

卧槽，大佬电脑配置是啥？

自由之紫roy · 发表于 2026-10-4 23:56

本帖最后由自由之紫roy 于 2026-10-5 00:21 编辑

qwased 发表于 2026-10-4 23:40
MOE并发开的越多越赚，dgx spark那种破烂都敢开64并发的可以多开点做sub agent提速 ...

我让agent帮我设了6并发了，如果只用单路，速度大概只下降10%，多路一起用，总吞吐估计翻倍。

-------------
我测试了一下，单卡并发，总吞吐没有获益。。。只是不要排队了。。。

自由之紫roy · 发表于 2026-10-4 23:56

lzchen 发表于 2026-10-4 23:41
卧槽，大佬电脑配置是啥？

pro5000 72G*2 256G DDR6000 我用的是q4，不过用单卡就可以了，以前要双卡才可以q4,现在空出的卡可以跑视频了。

自由之紫roy · 发表于 2026-10-5 00:42

不过社区后期还会更新补丁，会提高总的吞吐能力。现在四路并发跑任务中，美滋滋地去睡觉了

umamusume · 发表于 2026-10-5 07:35

大肥鱼太弱智了，没有advisor的情况下都无法独立部署strata，一堆毛病。昨天被advisor按着头把md看完了才发现自己哪里哪里哪里和哪里错了

—— 来自 samsung SM-S9480, Android 16, 鹅球 v4.0

c月光咖啡 · 发表于 2026-10-5 16:25

本帖最后由 c月光咖啡于 2026-10-5 16:29 编辑

如果iq3或者q4要10路并发，上下文64-128k之间，decode速度在50以上的话，什么配置可以做到？

—— 来自 HONOR MAA-AN10, Android 16, 鹅球 v3.5.99-debug

qwased · 发表于 2026-10-5 16:51

c月光咖啡发表于 2026-10-5 16:25
如果iq3或者q4要10路并发，上下文64-128k之间，decode速度在50以上的话，什么配置可以做到？

—— 来自 HO ...

等下个月再看，现在还是不够成熟

自由之紫roy · 发表于 2026-10-5 19:18

c月光咖啡发表于 2026-10-5 16:25
如果iq3或者q4要10路并发，上下文64-128k之间，decode速度在50以上的话，什么配置可以做到？

—— 来自 HO ...

四卡5090，512G内存。

jing86 · 发表于 2026-10-5 20:52

strata 等更更再说了我这低内存模式跑那个无审查模型还有问题 iqxxs 这个出点啥问题整个 IO 堵死长按开关都关不了机只能拔插座太伤了
跑 iq2 我还不太甘心

—— 来自 Xiaomi 24122RKC7C, Android 16, 鹅球 v4.0-alpha

tianzrf · 发表于 2026-10-5 23:28

https://github.com/kvmem/kvmem-llama.cpp/releases/tag/v0.18.0-ninfer-rc1
kvmem 作者更新了个 ninfer+kvmem 可以试试 Re:Source

cd112332255 · 发表于 2026-10-6 08:27

有人知道我12+32跑27b的IQ3XXS，上下文128k，tps大概7 token/s，这个数值正常吗？对了，我用的beellama.cpp，用ninfer会好点吗？

—— 来自 OnePlus PJX110, Android 15, 鹅球 v3.5.99-alpha

Penelope · 发表于 2026-10-6 09:31

内存容量重要还是频率重要？
楼主还是内存混插中吗，我显存只有12GB的条件下，16GB*2 6400再插一根16GB 6000的条降点频率能有啥大的收益吗

—— 来自 vivo V2405A, Android 16, 鹅球 v3.5.99-alpha

umamusume · 发表于 2026-10-6 10:07

Penelope 发表于 2026-10-6 09:31
内存容量重要还是频率重要？
楼主还是内存混插中吗，我显存只有12GB的条件下，16GB*2 6400再插一根16GB 600 ...

内存越大越不需要和硬盘交换速度越快

—— 来自 samsung SM-S9480, Android 16, 鹅球 v4.0

qwased · 发表于 2026-10-6 16:20

https://github.com/Xxianna/llama.cpp-glm-fast

有128+32以上的可以试试去跑GLM5.3FLASH了，正儿八经的生产力模型

noneoneone · 发表于 2026-10-6 16:24

tianzrf 发表于 2026-10-5 23:28
https://github.com/kvmem/kvmem-llama.cpp/releases/tag/v0.18.0-ninfer-rc1
kvmem 作者更新了个 ninfer+k ...

感谢提醒，这个在我电脑上运行的效果不赖，是真的能派上用场的本地部署了。
iq3_xxs 128k跑了几个小时真实项目没啥问题。
ds4.1f的评价是：它是一台可靠的“规格执行器”，不是可靠的“自治工程师”。只要验证回路是真实执行的（而不是它自述的静态检查），它足以承担这个项目绝大部分编码工作。

自由之紫roy · 发表于 2026-10-6 19:16

glm 5.3flash那个，对于内存带宽要求太高，一般机器也用不了的

qwased · 发表于 2026-10-6 19:21

自由之紫roy 发表于 2026-10-6 19:16
glm 5.3flash那个，对于内存带宽要求太高，一般机器也用不了的

llamacpp的基础不行，这个框架的效率真是一坨

bixinhaner · 发表于 2026-10-7 01:17

想要本地爽跑llm和视频模型，推断以后的本地模型能力也能进步到可用可撸的程度。是不是干脆砸钱搞个5090算了？就是现在这价格烫手，不知道什么情况下会血亏

qwased · 发表于 2026-10-7 01:53

bixinhaner 发表于 2026-10-7 01:17
想要本地爽跑llm和视频模型，推断以后的本地模型能力也能进步到可用可撸的程度。是不是干脆砸钱搞个5090算 ...

不如买rtx pro 5000 72G

bixinhaner · 发表于 2026-10-7 23:34

qwased 发表于 2026-10-7 01:53
不如买rtx pro 5000 72G

好的，研究一下。就是砸钱肉疼，是不是要转变一下观念，现在买卡就是以前买房

qwased · 发表于 2026-10-7 23:35

bixinhaner 发表于 2026-10-7 23:34
好的，研究一下。就是砸钱肉疼，是不是要转变一下观念，现在买卡就是以前买房 ...

显存决定能不能跑，速度其实已经是比较次要的因素了
不过没什么特殊需求买来干啥，没法变现啊

kinfox · 发表于 2026-10-8 23:12

我的strata已经可以跑到110k以上，还是iq3s，，我已经满足了…………
今天它甚至帮我解决了一个ds一直没搞定，搞了很多次，浪费了我很多钱的一个问题。
现在搭配着你推荐那个大佬写的最终版的27b的ninfer版本，已经可以覆盖我所有的使用场景了。
感觉真的是躺平等下一代了。

本来以前还想升级下显卡，现在感觉可以继续苟一下了。。。

奈落的孤火花 · 发表于 2026-10-10 21:27

[Qwen3.8 27B赛博治疗完结篇，压制了雷霆思考能力比原版还强大的27B如何诞生的后训练全纪实_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV16VHm6sEYB/) 这个咋样

qwased · 发表于 2026-10-10 21:57

奈落的孤火花发表于 2026-10-10 21:27
[Qwen3.8 27B赛博治疗完结篇，压制了雷霆思考能力比原版还强大的27B如何诞生的后训练全纪实_哔哩哔哩_bilib ...

不错的，别当许愿机用就行，被压制了超长思考之后他完成许愿任务的能力变得非常差了
但是完成明确的任务他可以干的又快又好

奈落的孤火花 · 发表于 2026-10-10 22:21

问了一下GPT说还是推荐qwen flash，因为我的需求是至少512K上下文

qwased · 发表于 2026-10-10 22:30

奈落的孤火花发表于 2026-10-10 22:21
问了一下GPT说还是推荐qwen flash，因为我的需求是至少512K上下文

你可以先去用qoder里面的免费qwen3.8flash，觉得满意再想办法弄本地部署的

		自动登录	找回密码
密码			立即注册

[科技] 16G显卡+qwen3.8 27B上下文200K，个人经验总结（更新llamacpp推荐）

本帖子中包含更多资源