本地部署ollama和deepseek r1蒸馏的8b

diohanmilton

最近听说deepseek r1的8b蒸馏新版出了。于是又想把本地部署搭起来。

电脑是8700k加6700xt

amd的ollama需要下特殊的ollama for amd rocm
显卡不支持还要换库。

显存刚刚够用。

下完之后。装了新版的deepseek r1 8b

先添加到Cherry studio里问了几个旅行问题，又开始编胡话造景点。把温度调到0，就还行。

然后添加到github copilot agent，提一个需求让它写一个小程序。写完第一遍还行，然后想反馈改的时候突然就连不上。

回到Cherry studio，继续问他，然后就在think阶段不停说胡话。ai彻底疯了。不知道是硬件问题，还是软件就是这个特性。

然后我又下了qwen3原版8b。

在github里能写第一遍，但是要求他调试修改的时候就无法运行下去。

另外就是这两个生成代码都挺慢的。deepseek要长思考，一直在简单问题上打转。qwen3虽然没这个模式，但是，正文里就是在长考。

鸳鸳相抱

胡话各种问题都可能有，毕竟是很开发者向的东西，没有充分验证过，比如同样的qwen3 32B模型我用Xinfer v1.6在两张Tesla V100卡上跑就会几句话开始胡言乱语, 拿8张V100在ollama上跑就很流畅正常表现非常好

子犴

首先8b的就不是R1这个模型 而是用R1蒸馏训练的qwen3的8B模型  最基础的结构就不一样

百猪夜行

要求别太高，70b和在线版的比都挺弱智的，更别说8b。

diohanmilton

百猪夜行 发表于 2025-6-3 18:12
要求别太高，70b和在线版的比都挺弱智的，更别说8b。

主要deepseek官方刚吹了一波8b，我感觉新的8b反而更不稳定了。