现在搞块全新的7900XTX 拿来跑LLM好像性价比还不错

mmmrm

某抖5200多的蓝宝7900xtx白金，虽然纯打游戏性价比是垃圾

但是放二奶机里面跑跑LLM好像又还不错，24G显存找不到更便宜的了

打游戏的话，不开光追应该至少也有个4070 Ti左右的性能吧

FML2009

mmmrm 发表于 2026-5-29 19:24
某抖5200多的蓝宝7900xtx白金，虽然纯打游戏，性价比是垃圾

但是放二奶机里面跑跑LLM好像又还不错，24G显 ...

3090游戏比不过，ai应该秒了吧

—— 来自 鹅球 v3.3.96-alpha

mmmrm

FML2009 发表于 2026-5-29 19:44
3090游戏比不过，ai应该秒了吧

—— 来自 鹅球 v3.3.96-alpha

游戏也未必差多少，前提你能接受矿卡，而且矿卡也贵1000

mp5

mmmrm 发表于 2026-5-29 19:24
某抖5200多的蓝宝7900xtx白金，虽然纯打游戏性价比是垃圾

但是放二奶机里面跑跑LLM好像又还不错，24G显存 ...

7900xtx拿来跑qwen3.6 27b的Q4能有多少tk/s？之前看过有人推荐，但是非nvidia卡跑llm感觉速度不容易上去    Re:Source

kinga

马上fsr4.1下放rnda3了，7900xtx也许游戏性能可以超过4070tis了

limon

不要折腾本地llm。还不如跑跑涩图，那也是n卡好些

diohanmilton

本地llm可能就翻译用途有点用。

—— 来自 HONOR PGT-AN10, Android 16, 鹅球 v3.5.99-alpha

mmmrm

limon 发表于 2026-5-29 22:07
不要折腾本地llm。还不如跑跑涩图，那也是n卡好些

主力机当然是N卡了，从novelAI到comfyui我AI生图用了好多年了，本地LLM也玩了大半年了，都挺好玩的

qwased

diohanmilton 发表于 2026-5-30 15:04
本地llm可能就翻译用途有点用。

—— 来自 HONOR PGT-AN10, Android 16, 鹅球 v3.5.99-alpha ...

跑翻译用混元1.8b都能凑合了

natt

刚刚试了一下vega56跑ollama，配置是真烦琐啊
喷了

—— 来自 vivo V2238A, Android 16, 鹅球 v3.5.99

Kiraru

llm是本地部署最没有意义的模型，显卡钱拿来买deepseek api够你用不知道多久了

mmmrm

Kiraru 发表于 2026-5-31 12:11
llm是本地部署最没有意义的模型，显卡钱拿来买deepseek api够你用不知道多久了 ...

关于这个只能说实际用过就知道了

lixianfyss

Kiraru 发表于 2026-5-31 12:11
llm是本地部署最没有意义的模型，显卡钱拿来买deepseek api够你用不知道多久了 ...

本地跑越狱无审查模型玩的，DS太敏感了。

shinjiikari

Kiraru 发表于 2026-5-31 12:11
llm是本地部署最没有意义的模型，显卡钱拿来买deepseek api够你用不知道多久了 ...

不不不，deepseek 有些问答方面，即使调用api也存在和谐，会一本正经的输出官话，跟Kimi-K2.6（含K2，K2.5）及智谱GLM-5.1（含4.5到5）还是存在明显差别的。

如果是使用deepseek干活，我很支撑你的看法，但我更倾向认为DS是御三家之下一个不错的选择。我也部分支持你“个人本人部署LLM无意义”观点，普通人确实用不上太多本地功能，但富哥有能力去玩，我为什么不选择支持他一下呢，我可以期望他分享经验供我参考

FeteFrumoase

这就是我们rocm
喜欢要自己写算子和框架bug适配的amd显卡么

mmmrm

mp5 发表于 2026-5-29 20:21
7900xtx拿来跑qwen3.6 27b的Q4能有多少tk/s？之前看过有人推荐，但是非nvidia卡跑llm感觉速度不容易上去  ...

Q4在65K上下文下应该是30-40t/s，如果是MTP更快，MTP的Q5KM能跑到60t/s左右

不过我现在已经改用gemma了

mp5

mmmrm 发表于 2026-5-31 19:44
Q4在65K上下文下应该是30-40t/s，如果是MTP更快，MTP的Q5KM能跑到60t/s左右

不过我现在已经改用gemma了 ...

mtp的Q4在200K上下文能跑到30tk/s以上吗？能的话就的确可以考虑了    Re:Source

angleabs

没有什么特殊的需求，API走起，本地部署又贵智商还不如API

zris

······

花这钱，够你用很就在线llm了

fat

本地llm不太行，智力比线上的差太远了，几乎无用。
搞涩图非常行，毕竟没有限制，速度也够用。
但是不知道各生图模型对a卡适配如何    Re:Source

mmmrm

zris 发表于 2026-6-1 11:57
······

花这钱，够你用很就在线llm了

能说出这个，说明你还不知道本地和在线LLM的区别

zris

mmmrm 发表于 2026-6-1 12:57
能说出这个，说明你还不知道本地和在线LLM的区别

愿闻其详

卡普空

不如3080魔改20g

你说这个谁懂呀?

lixianfyss 发表于 2026-5-31 15:32
本地跑越狱无审查模型玩的，DS太敏感了。

其实你要是真想要解限的LLM，可以找一个支持微调的服务输入一批你想要的有害数据集稍微微调一下，
安全能力就完全消失了

nozomitech

24GB跑LLM真的够吗？

—— 来自 S1Fun

MeursaulT

用破限比用去审查模型好，后者会降智商。ds的破限是最轻松的那档了，开了色情破限政治也会破    Re:Source

风烨晨曦

我用的Mac Studio在跑，感觉小模型比较容易出逻辑问题，注意力也非常有限，使用时要专门做很多调整，折腾着折腾着就懒得用了

—— 来自 鹅球 v3.5.99-alpha

lixianfyss

你说这个谁懂呀? 发表于 2026-6-3 00:28
其实你要是真想要解限的LLM，可以找一个支持微调的服务输入一批你想要的有害数据集稍微微调一下，
安全能 ...

搞这种事情花的时间成本就高了，也不知道会不会被封。

lixianfyss

你说这个谁懂呀? 发表于 2026-6-3 00:28
其实你要是真想要解限的LLM，可以找一个支持微调的服务输入一批你想要的有害数据集稍微微调一下，
安全能 ...

你真当这些提供微调服务的平台不审核你的数据集啊？这条路现在已经是重点防控了。

mccleaner

MeursaulT 发表于 2026-6-3 09:16
用破限比用去审查模型好，后者会降智商。ds的破限是最轻松的那档了，开了色情破限政治也会破    Re:Source ...

感觉deepseek的api有个硬审核，我之前opencode接deepseek给一个有敏//感//词库的项目写代码，deepseek如果读到那个词库就会直接拒绝输出，无论官api还是opencodego的api都不行，但是像kimi，glm还有小米那个就能继续使用，遇到这个情况只能先用其他模型写下去，然后开新的对话再改回ds。

MeursaulT

mccleaner 发表于 2026-6-4 08:57
感觉deepseek的api有个硬审核，我之前opencode接deepseek给一个有敏//感//词库的项目写代码，deepseek如 ...

api不破限不会回答政治特别敏感的东西和民族问题，很正常，给opencode挂个破限就行，不降智    Re:Source

你说这个谁懂呀?

lixianfyss 发表于 2026-6-4 08:42
你真当这些提供微调服务的平台不审核你的数据集啊？这条路现在已经是重点防控了。 ...

笑死，你说的真是我做的，
现在如何用完全无害的数据集微调一个大模型让他能有害已经是一个完全成熟的方向了