—— 来自 HUAWEI WLZ-AL10, Android 12上的 S1Next-鹅版 v2.5.2-play 问下a卡行不行，看坛友发的zluda那帖，跑sd挺快的 哪里来的4080ti 你的大模型是llm大模型？还是SD这种赛博画师？
前者7B打底24G显存，你还得会部署
—— 来自 Xiaomi 2304FPN6DC, Android 13上的 S1Next-鹅版 v2.5.4 M3 Max 128GB，瓶颈在内存通道上所以跑大模型token输出速度是M2 Ultra的一半左右（ https://github.com/ggerganov/llama.cpp/discussions/4167 ）。可以通过sudo sysctl iogpu.wired_limit_mb=126976 （就是124 * 1024）让显存最多使用124G，留4G给系统，这个显存可以跑110B级别 8bit量化的大模型。 本地gpu能跑的llm都跟人工智障差不多，要想拿来玩不如狠狠心弄个农企32核以上的洋垃圾+128g以上内存，慢是慢点但是智力高不少 插个眼 本帖最后由 Midnight.Coup 于 2024-2-18 12:56 编辑
M3 Max 128GB 内存拉满也许可以，但本地跑起来的模型肯定不如 GPT4，该买 API 还是买
lenovo p16？
dell和hp的移动式服务器？ 正经玩别想了，笔记本4090 16g显存也就勉强能跑个7B模型，以下的7B都跑不起来 干嘛不白嫖Colab或者Kaggle的显卡资源呢 从逆天的角度来看，笔记本跑稍微大一点的模型的话Mac因为内存显存共用反而有性价比了（只能怪byd老黄消费级显卡显存抠门 除了AI还有啥想玩的，玩腻了也不至于浪费，入门8G显存就行了，往上无止境，但是本地模型再怎么样最后效果还是被gpt4吊打，除非你看中速度要自己做应用。
—— 来自 S1Fun 我看现在很多AI画图（比如好说AI）都是基于SD，然后卖使用次数给普通用户体验
SD查了下好像是免费开源的，那就是本地也可以自己部署？
openai的DALL-E3**使用，然后按张计费？
哪个相对不太折腾 ？平时画点公众号插图的话 sunbeach 发表于 2024-2-18 12:15
本地gpu能跑的llm都跟人工智障差不多，要想拿来玩不如狠狠心弄个农企32核以上的洋垃圾+128g以上内存，慢是 ...
我这有两块闲置的26核的5320可以用吗，可以跑啥模型 7B也是玩具，何况笔记本大概连7B都跑不了 开源能本地跑的远不如付费买api的
如果模型能用CPU跑，内存够大就行
用显卡跑，如果模型有int量化，显存占用会小很多，全精度的还是算了吧 路西欧拉 发表于 2024-2-18 14:27
我看现在很多AI画图（比如好说AI）都是基于SD，然后卖使用次数给普通用户体验
SD查了下好像是免费开源的， ...
不折腾当然是花钱用DALL-E3，SD可太折腾了 袄_偶滴小乔 发表于 2024-2-18 14:41
我这有两块闲置的26核的5320可以用吗，可以跑啥模型
直接搜cpu大模型就行，主要吃内存，65B的差不多要吃75G，CPU跑基本都在一秒1~2字符这样
对比8g显存的显卡只能跑7B模型那智力水平就是降维打击 本帖最后由 ambivalence 于 2024-2-18 22:29 编辑
LLM的话我推荐你直接上X99工作站然后四路魔改22G 2080ti拉满，没有比这个更高性价比的选择，淘宝搜超微7048GR 2000左右,CPU一百出头一颗，内存70左右一条，显卡现在大概2500一块 总共加起来都不到一块4090的价格.至于单卡4080 16G显存LLM拉个屎都不够擦屁股的
CPU嗯跑我前段时间试过，双路2698V3+128G内存，70B模型1t/s，基本上没有实用价值
路西欧拉 发表于 2024-2-18 14:27
我看现在很多AI画图（比如好说AI）都是基于SD，然后卖使用次数给普通用户体验
SD查了下好像是免费开源的， ...
要上生产买chatgpt plus用DALLE
sd不适合画配图，DALLE的API贵的要命，不如chatgpt plus来的合算 schneehertz 发表于 2024-2-18 23:03
要上生产买chatgpt plus用DALLE
sd不适合画配图，DALLE的API贵的要命，不如chatgpt plus来的合算 ...
为什么SD不适合画配图呢？
有没有适合画配图的开源系统？
页:
[1]