本地部署ollama和deepseek r1蒸馏的8b
本帖最后由 diohanmilton 于 2025-6-3 17:12 编辑最近听说deepseek r1的8b蒸馏新版出了。于是又想把本地部署搭起来。
电脑是8700k加6700xt
amd的ollama需要下特殊的ollama for amd rocm
显卡不支持还要换库。
显存刚刚够用。
下完之后。装了新版的deepseek r1 8b
先添加到Cherry studio里问了几个旅行问题，又开始编胡话造景点。把温度调到0，就还行。
然后添加到github copilot agent，提一个需求让它写一个小程序。写完第一遍还行，然后想反馈改的时候突然就连不上。
回到Cherry studio，继续问他，然后就在think阶段不停说胡话。ai彻底疯了。不知道是硬件问题，还是软件就是这个特性。
然后我又下了qwen3原版8b。
在github里能写第一遍，但是要求他调试修改的时候就无法运行下去。
另外就是这两个生成代码都挺慢的。deepseek要长思考，一直在简单问题上打转。qwen3虽然没这个模式，但是，正文里就是在长考。 胡话各种问题都可能有，毕竟是很开发者向的东西，没有充分验证过，比如同样的qwen3 32B模型我用Xinfer v1.6在两张Tesla V100卡上跑就会几句话开始胡言乱语, 拿8张V100在ollama上跑就很流畅正常表现非常好 首先8b的就不是R1这个模型 而是用R1蒸馏训练的qwen3的8B模型最基础的结构就不一样 要求别太高，70b和在线版的比都挺弱智的，更别说8b。 百猪夜行 发表于 2025-6-3 18:12
要求别太高，70b和在线版的比都挺弱智的，更别说8b。
主要deepseek官方刚吹了一波8b，我感觉新的8b反而更不稳定了。
页:
[1]