论坛 › ＰＣ数码 › 求推荐双4090的家用炼丹配置

dodolee 发表于 2023-12-9 11:43

求推荐双4090的家用炼丹配置

本帖最后由 dodolee 于 2023-12-9 17:22 编辑

最近想折腾一下LLM微调，考虑到流转性和B站林亦LYi的不断吹捧，本来想等等看Mac Studio M3 Ultra，但看各种评测，虽然显存上Mac有优势，但计算性能似乎只有3090的水平，就想看看双4090的PC配置。
看网上文章似乎普通家用主板有PCIE条数不足的问题？另外电源和噪音会不会很大？价格应该能控制在192G的Mac Studio以下吧？

PS：autodl之类的平台还要抢显卡，感觉还是太不稳定了……

灰流うらら 发表于 2023-12-9 11:57

48G显存够干啥的

—— 来自 Xiaomi 2211133C, Android 13上的 S1Next-鹅版 v2.5.4

你说这个谁懂呀? 发表于 2023-12-9 12:00

你说这个谁懂呀? 发表于 2023-12-9 12:01

lvcha 发表于 2023-12-9 12:01

灰流うらら 发表于 2023-12-9 12:04

lvcha 发表于 2023-12-9 12:01
我咋记得4090不支持交火所以两个没啥意思？

走pipeline parallel的话通信量不大（和tensor parallel相比），倒不至于太瓶颈

—— 来自 Xiaomi 2211133C, Android 13上的 S1Next-鹅版 v2.5.4

你说这个谁懂呀? 发表于 2023-12-9 12:05

naiveyan 发表于 2023-12-9 12:28

抄作业可以参考这个？https://www.bilibili.com/video/av601985024/
以及虽然3090矿渣暴涨了一波，但是还是只要4090一半的价格吧

gx19860411 发表于 2023-12-9 12:38

电源1000w估计不够

—— 来自 Xiaomi M2011K2C, Android 13上的 S1Next-鹅版 v2.5.4

codecloud 发表于 2023-12-9 14:28

硬特二好像有支持4tb内存的cpu,
硬威大的显卡好像没那么高?只有128g显存?但可以多路叠加.
来两块就256gb显存了
整一套这样的平应该是大公司的炼丹入门款?

少年的深渊 发表于 2023-12-9 14:32

直接上单块48g显存的不好吗

dodolee 发表于 2023-12-9 17:09

少年的深渊 发表于 2023-12-9 14:32
直接上单块48g显存的不好吗

比如什么卡？

查看完整版本: 求推荐双4090的家用炼丹配置