Project digits这样的大内存小主机可能会越来越多
本帖最后由 overflowal 于 2025-1-9 20:43 编辑看到华硕和HP也在做这种机器/笔记本，思路跟苹果差不多，就是堆多通道内存，来取得更好的带宽，用核显大内存跑本地llm的推理。
目前看来是堆到了128G，除了deepseek v3这种怪物，开源模型最普遍70B版本属于是畅通无阻了。
因为堆了内存通道，提升了带宽，游戏性能也会跟着提升，有点期待发展 但是这种东西的定价应该不是臭打游戏会考虑的吧，不是当做生产力赚钱工具的话可能一般不太会考虑
—— 来自 OnePlus PJA110, Android 14上的 S1Next-鹅版 v2.5.4 bilibon 发表于 2025-1-9 21:20
但是这种东西的定价应该不是臭打游戏会考虑的吧，不是当做生产力赚钱工具的话可能一般不太会考虑
—— 来 ...
反过来说既然要做成生产力工具，还抱着小主机这螺蛳壳做道场也是有点大病 welcom 发表于 2025-1-9 21:25
反过来说既然要做成生产力工具，还抱着小主机这螺蛳壳做道场也是有点大病 ...
这种主机一般都是内存和cpu/apu封装到一块，很紧凑，因为只用来跑推理任务，所以绝对性能不算强，也不需要大规格散热和电源。所以干脆做小点或者搞成笔记本也是挺合理的。
—— 来自 鹅球 v3.3.96 overflowal 发表于 2025-1-9 21:35
这种主机一般都是内存和cpu/apu封装到一块，很紧凑，因为只用来跑推理任务，所以绝对性能不算强，也不需 ...
不需要大规格散热和电源？你确定？
你说上个1U给个200W小电源，那行吧，APU哪个散热特别好了
只面向特定受众，不过这批人完全不缺钱和购买意愿所以不愁卖，对于预算上不封顶的人来说也是个不错的玩具
但是对于一般人来说确实没必要买啊。买个正常笔记本小机箱再充个oai啥的年度会员效果不更好 华硕和HP在做什么？内存带宽大核显算力够的apu是说strix point halo？LPDDR5X 8533mhz 256bit拉满应该是273GB/s，对比老黄Project digits还是差了一截，老黄这个好像大伙还嫌他带宽低了 只要厂商还是利润第一就卷不起来吧
看r/locallama说带宽还是不如苹果 你们真的在用local的llm吗，是api不好用吗 med 发表于 2025-1-9 23:22
你们真的在用local的llm吗，是api不好用吗
local的好玩，生命在于折腾
—— 来自 鹅球 v3.3.96-alpha 这玩意多少钱啊，国内禁吗？ 也有可能向家用私有云发展，就像即使你有无限流量还是会在家里搞套wifi
论坛助手,iPhone 本帖最后由 samfs 于 2025-3-16 11:57 编辑
********** nas不玩ai这些也没有增长点了呀，之前搞的5825u all in boom我都觉得性能严重过剩不知道能拿来干嘛 med 发表于 2025-1-9 23:22
你们真的在用local的llm吗，是api不好用吗
128GB的版本可以自己解开限制加入你想要的语料微调32B参数的模型了, 用处你懂的 d2loader 发表于 2025-1-10 16:52
128GB的版本可以自己解开限制加入你想要的语料微调32B参数的模型了, 用处你懂的 ...
看来“瑟瑟是第一生产力”依旧比摩尔定律还有生命力 数据就是资产，不是什么东西都适合上云的，老黄不当人显得小主机有性价比 用nas的数码爱好者，未来肯定会在家里搞本地llm。算算自己搭nas的投入，2万的主机价格不算离谱
这是蓝海
当然前提是未来开源的多模态llm和商用的差距不大。 现在内存可老贵了，还是用破机器+云服务。
— from Razer Phone 2, Android 9 of S1 Next Goose v2.5.2-play
页:
[1]