求助坛友，本地LLM应该用哪个比较好

孤灯蓝影

用的是RTX4070 12g版本的，求推荐部署大模型

qwased

不说用途吗，我现在本地只用一个混元mt2 7b的翻译模型了，翻译质量很好跑的还快

孤灯蓝影

qwased 发表于 2026-8-7 02:39
不说用途吗，我现在本地只用一个混元mt2 7b的翻译模型了，翻译质量很好跑的还快 ...

处理公司内部财务数据，用户偏好分析

qwased

孤灯蓝影 发表于 2026-8-7 02:46
处理公司内部财务数据，用户偏好分析

叫公司掏钱买俩dgx spark弄个DSV4 flash

璇瑢子R

楼上加一
这种需要一定智能的任务还是别省这点钱用12G显存干了

随便出点错都比显卡贵多了

论坛助手,iPhone

格林达姆

孤灯蓝影 发表于 2026-8-7 02:46
处理公司内部财务数据，用户偏好分析

内部数据那大概率只能本地部署
但财务数据但凡用性能稍微差点的就是找死，而这个配置能本地跑的模型连0.11和0.9哪个大都算不明白

那么只能加钱了。这不是这个量级的预算该考虑的需求

mitzvah

qwen3.5 9b, 先根据数据类型外面的大模型那里提问分析整个工作流，需要什么样的python包，然后在本地部署模型，prompt强迫模型必须使用工具进行量化计算，在这里llm就是个调用工具的胶水，9b的指令遵循足以胜任

呆呆木

个人用户本地一般用qwen系列，qwen3.6 27B 35B之类的，你可以找个agent帮你实测你的显卡能跑的动哪个

狩野すみれ

这种就是完全不懂的人提出来的异想天开需求

----发送自 Sony XQ-AT72,Android 12

紧那罗

这个价位可选的本地大语言模型非常丰富，建议是去当地人才市场尽情挑选

论坛助手,iPhone

squallx

格林达姆 发表于 2026-8-7 04:33
内部数据那大概率只能本地部署
但财务数据但凡用性能稍微差点的就是找死，而这个配置能本地跑的模型连0.1 ...

漏油言重了 好多碳基猴子智能水平还不如本地部署的轻量LLM 死就死了吧也没啥影响

枯风瘦雪

我也想顺便问一下，做一些文档内容提取、内容总结和关联分析、外文论文的翻译，大概需要什么样参数水平的本地模型？想看看自己的笔记本是不是带的动

firewings0607

做数据分析仅推荐满血模型吧，弄块破消费级显卡就想降本增笑吗，四块H200应该能推理出些有效数据

小川彩

内部财务数据啊 建议联系各个云厂商走私有化部署 本地化部署的模型太傻 非私有化的api不保密

论坛助手,iPhone

路德维希革命

qwased 发表于 2026-8-7 02:39
不说用途吗，我现在本地只用一个混元mt2 7b的翻译模型了，翻译质量很好跑的还快 ...

感谢推荐最近刚好在找翻译好用的大模型

—— 来自 鹅球 v3.5.99-alpha

claymorep

qwased 发表于 2026-8-7 02:39
不说用途吗，我现在本地只用一个混元mt2 7b的翻译模型了，翻译质量很好跑的还快 ...

我都直接用dsv4flash翻译的，花不了几个钱

ななひら

路德维希革命 发表于 2026-8-7 09:48
感谢推荐最近刚好在找翻译好用的大模型

—— 来自 鹅球 v3.5.99-alpha

3年前2000多买了一台7840的准系统小主机，当时又加1000多插了96G内存，现在放在内网用来跑qwen35b之类的moe模型速度还可以，用去审查的模型什么都能回答。翻译算是最轻松的任务了，有多模态，最近带上图片和官方提示词规范用来辅助生成minimax h3提示词也基本不会出错

colice

个人的话，本地部署的模型是qwen3.6-35B-A3B，部署用的软件是LM studio，自己的配置是5070ti的显卡，能做到50taken/s，可以参考下

—— 来自 HUAWEI HBN-AL00, Android 12, 鹅球 v3.4.98

colice

12G的显存应该也勉强能用，不过速度估计最多30，可以考虑小点的模型，你用LM studio，这个软件会根据你的配置给你推荐模型的

—— 来自 HUAWEI HBN-AL00, Android 12, 鹅球 v3.4.98

芝麻志摩凛

亲亲，这边根据您的需求，暂时不推荐本地部署人工智能呢，还是推荐您部署工人智能呢

noword

财务数据，不应该是写一套程序逻辑去处理吗？真敢信大模型幻想出来的数学计算啊。。即便所谓满血最强大模型也不行啊

—— 来自 Xiaomi 22041211AC, Android 12, 鹅球 v4.0-alpha