16G显卡+qwen3.8 27B上下文200K，个人经验总结

三壮同志 · 发表于 2026-8-27 22:01

实测用apex确实能长上下文，要是也支持mtp就好了，40左右t/s感觉还是稍微有点慢

静哮苍穹 · 发表于 2026-8-27 22:16

马一下，之前都说要32g才好用就没折腾，感觉可以试试了

—— 来自 vivo V2454A, Android 16, 鹅球 v3.5.99

qwased · 发表于 2026-8-28 00:10

三壮同志发表于 2026-8-27 22:01
实测用apex确实能长上下文，要是也支持mtp就好了，40左右t/s感觉还是稍微有点慢 ...

nano可以开，上下文长度150K左右+MTP，吐字速度能到80tk/s
但是nano/iq3xxs这个级别的量化写调用工具的命令会时不时出错重写的，感觉智力堪忧，不太想用了

qwased · 发表于 2026-8-28 00:36

apex nano 上下文130K+启用mtp 预测2
接受率能保持75%，上下文用到50K也能保持50~60tk/s的吐字速度，不写代码的任务倒是可以试试这个组合

llama-server.exe -m "Qwen3.8-27B-APEX-I-Nano.gguf" --mmproj "mmproj-Qwen3.8-27B-F16.gguf" --no-mmproj-offload --image-min-tokens 1024 --image-max-tokens 4096 -c 130000 -ngl 99 -ctk turbo4 -ctv turbo3 -fa on --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --presence-penalty 0.0 --kv-unified --no-host --cache-ram 0 -np 1 -b 512 -ub 512 --reasoning-preserve --jinja --chat-template-file chat_template.jinja --reasoning-format deepseek --host 127.0.0.1 --port 24548 --spec-type draft-mtp --spec-draft-n-max 2

突发性哮喘病患 · 发表于 2026-8-28 00:52

跑酒馆怎么样？

tk553521 · 发表于 2026-8-28 01:09

写涩文水平如何啊27b

—— 来自 nubia NX809J, Android 16, 鹅球 v3.5.99-alpha

处男鉴黄师 · 发表于 2026-8-28 01:16

用什么agent比较合适？试了接opencode蹬小游戏，感觉大部分计算都消耗在opencode的context处理上面了

qwased · 发表于 2026-8-28 01:23

处男鉴黄师发表于 2026-8-28 01:16
用什么agent比较合适？试了接opencode蹬小游戏，感觉大部分计算都消耗在opencode的context处理上面了 ...

PI或者DSH，主楼那个搭配

qwased · 发表于 2026-8-28 01:24

tk553521 发表于 2026-8-28 01:09
写涩文水平如何啊27b

—— 来自 nubia NX809J, Android 16, 鹅球 v3.5.99-alpha

好像那种纯肉齁文用破限版还行，反正我感觉写的AI味大得不像人话

		自动登录	找回密码
密码			立即注册

[科技] 16G显卡+qwen3.8 27B上下文200K，个人经验总结

本帖子中包含更多资源