Intel B60/70 GPU 跑LLM怎么样

璇瑢子R

相对AN家卡显存容量/价格比比较好看
B60 24G，B70 32G
而且功耗看着很低

有人用过吗？

论坛助手,iPhone

少打音游多读书

32G能跑的LLM真的有实际应用价值吗

—— 来自 Xiaomi 25019PNF3C, Android 15, 鹅球 v3.5.99

雪影

B60算力不行，还不到200TOPS
B70价格能买R9700和4080Super 32G了
BMG架构硬件最大的问题是，没有4:2稀疏硬件，稀疏性能打折
LM Studio下，KV Cache卸载到显存关闭后，会异常。

R9700最大的问题还是ROCm太菜，vllm下原生INT8/INT4计算有bug，性能也不如Vulkan。
建议是4080Super 32G，CUDA依然是消费级炼丹唯一解，剩下的太挑战自己的纠错能力了
你也可以考虑伟大的Mac Studio！

—— 来自 Xiaomi 2304FPN6DC, Android 13, 鹅球 v3.5.99-alpha

雪影

少打音游多读书 发表于 2026-6-11 17:00
32G能跑的LLM真的有实际应用价值吗

—— 来自 Xiaomi 25019PNF3C, Android 15, 鹅球 v3.5.99 ...

Qwen3.6 27B可以的

—— 来自 Xiaomi 2304FPN6DC, Android 13, 鹅球 v3.5.99-alpha

璇瑢子R

买了B70
用了几天还挺丝滑的（除了Qwen的模型需要手动加一个环境变量要不然会失败）

几个常用的模型
gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-Instruct-GGUF
Qwen3.6-35B-A3B-uncensored-heretic-GGUF
Sakura-GalTransl-14B-v3.8

另外还有Whisper Large V3用来自动生成字幕

nailuo1993

问下24g显存翻漫画跑sakura llm用哪个模型比较好，我看官网上只有针对galgame和轻小说的版本

璇瑢子R

nailuo1993 发表于 2026-7-21 10:55
问下24g显存翻漫画跑sakura llm用哪个模型比较好，我看官网上只有针对galgame和轻小说的版本 ...

轻小说模型版本比较老。
gal的话只有7B，14B

你有24G都非常足够了。

具体效果你找一本你看的漫画试一下。
我测试的东西来说Gal 14B效果比7B好很多

qwased

nailuo1993 发表于 2026-7-21 10:55
问下24g显存翻漫画跑sakura llm用哪个模型比较好，我看官网上只有针对galgame和轻小说的版本 ...

把sakura扔了，效果太垃圾了
我用混元mt2 7b比sakura强太多

netplaying

璇瑢子R 发表于 2026-7-21 10:51
买了B70
用了几天还挺丝滑的（除了Qwen的模型需要手动加一个环境变量要不然会失败）

你这几个量化的35b 31b 14b模型，16g显存都可以跑出很不错的速度了。你既然买了32g显存的卡，不试试70b以上的量化模型？
别看参数量只多了一倍，同样写小说，70b的输出语言的自然度流畅度对比35b模型完全是降维打击了。