半肾
精华
|
战斗力 鹅
|
回帖 0
注册时间 2011-4-28
|
本帖最后由 kinfox 于 2026-8-24 17:20 编辑
4090，24GB 显存跑通Qwen3.8 27B 大模型 —— 一套通用的无限任务长度，本地推理“全家桶”方案，
ps：此方案可以随意更换量化模型，让ai给你配参数即可，可以找自己喜欢的量化模型，我就下了4，5个，根据他们的特点跑不同的任务
设计的初衷是因为我是个4090单显卡，显存比较捉襟见肘，本地部署大模型时，经常遇到的痛苦问题
上下文溢出：长对话或长输入导致 智能体出现400报错，模型不能在一个对话里再继续调用，context length exceeded，任务中断；
而且我用的还是workbudd小白版本的智能体，我图省事。
所以我让几个ai一起干活，帮我设计了一套监听的转接方式。
代理承担“上下文管理”职责
安全阈值 = window × safety，超出后自动裁剪历史，避免溢出。
然后做一个一键启动器：
每个后端对应一个 .bat 脚本，实现：
自动清理旧进程（避免端口冲突）；
启动后端（带优化参数）；
等待模型加载；
启动代理。
一键运行，无需手动配置。
- **WorkBuddy**：用户交互界面，配置 `models.json` 指向代理端口。
- **代理 (llm_proxy.py)**：拦截请求，裁剪过长历史，防止上下文超限。
- **llama-server**：执行推理，开启 MTP/ngram 推测解码，并加载优化参数。
- **GPU (RTX 4090)**：执行计算，显存管理由 `-ngl all -ctk q4_0 -ctv q4_0` 控制。
思路就是这样。。。然后就可以得到下面这样的，你怎么提问，无论任务多复杂，它都可以一次出来，也可以在同一个对话里反复的帮你解决问题，我现在测试用来制作复杂的游戏都是这么干，
你可以把这个思路喂给某个ai 让它根据你的模型特点（你把模型页贴给它）出一个配置方案，和增加一个转接监听的逻辑。然后给你推荐配置在agent上的上下文输出输入的token值
就可以了。
效果就跟我如图这样
## 📊 性能数据（实测）
| 场景 | 输入 tokens | 输出 tokens | 速度 (t/s) | 命中率 | 显存占用 |
| :--- | :--- | :--- | :--- | :--- | :--- |
| 短文本推理（约500输入） | 564 | 162 | 68 | 62% | ~20.5 GB |
| 长文本推理（约40k输入） | 28,310 | 5,563 | **65.46** | **75.34%** | ~22.2 GB |
| 另一长文本（约9.8k输入） | 9,849 | 5,022 | 43 | 38.68% | ~22.0 GB | |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
|
楼主: 绕指流光
沪公网安备 31010702007642号 )
发表于 2026-8-24 15:56
谷大善人十几块的pro让gpt指挥，蹬起来真爽啊，小梁你谁啊我们不熟
