Intel B60/70 GPU 跑LLM怎么样
相对AN家卡显存容量/价格比比较好看B60 24G，B70 32G
而且功耗看着很低
有人用过吗？
论坛助手,iPhone 32G能跑的LLM真的有实际应用价值吗
—— 来自 Xiaomi 25019PNF3C, Android 15, 鹅球 v3.5.99 本帖最后由 雪影 于 2026-6-11 19:29 编辑
B60算力不行，还不到200TOPS
B70价格能买R9700和4080Super 32G了
BMG架构硬件最大的问题是，没有4:2稀疏硬件，稀疏性能打折
LM Studio下，KV Cache卸载到显存关闭后，会异常。
R9700最大的问题还是ROCm太菜，vllm下原生INT8/INT4计算有bug，性能也不如Vulkan。
建议是4080Super 32G，CUDA依然是消费级炼丹唯一解，剩下的太挑战自己的纠错能力了
你也可以考虑伟大的Mac Studio！
—— 来自 Xiaomi 2304FPN6DC, Android 13, 鹅球 v3.5.99-alpha 少打音游多读书 发表于 2026-6-11 17:00
32G能跑的LLM真的有实际应用价值吗
—— 来自 Xiaomi 25019PNF3C, Android 15, 鹅球 v3.5.99 ...
Qwen3.6 27B可以的
—— 来自 Xiaomi 2304FPN6DC, Android 13, 鹅球 v3.5.99-alpha 本帖最后由 璇瑢子R 于 2026-7-21 10:54 编辑
买了B70
用了几天还挺丝滑的（除了Qwen的模型需要手动加一个环境变量要不然会失败）
几个常用的模型
gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-Instruct-GGUF
Qwen3.6-35B-A3B-uncensored-heretic-GGUF
Sakura-GalTransl-14B-v3.8
另外还有Whisper Large V3用来自动生成字幕
问下24g显存翻漫画跑sakura llm用哪个模型比较好，我看官网上只有针对galgame和轻小说的版本 nailuo1993 发表于 2026-7-21 10:55
问下24g显存翻漫画跑sakura llm用哪个模型比较好，我看官网上只有针对galgame和轻小说的版本 ...
轻小说模型版本比较老。
gal的话只有7B，14B
你有24G都非常足够了。
具体效果你找一本你看的漫画试一下。
我测试的东西来说Gal 14B效果比7B好很多 nailuo1993 发表于 2026-7-21 10:55
问下24g显存翻漫画跑sakura llm用哪个模型比较好，我看官网上只有针对galgame和轻小说的版本 ...
把sakura扔了，效果太垃圾了
我用混元mt2 7b比sakura强太多 璇瑢子R 发表于 2026-7-21 10:51
买了B70
用了几天还挺丝滑的（除了Qwen的模型需要手动加一个环境变量要不然会失败）
你这几个量化的35b 31b 14b模型，16g显存都可以跑出很不错的速度了。你既然买了32g显存的卡，不试试70b以上的量化模型？
别看参数量只多了一倍，同样写小说，70b的输出语言的自然度流畅度对比35b模型完全是降维打击了。
页:
[1]