老板出六千本地部署Deepseek有搞头吗？

jahr0

真不是开玩笑，老板说预算6000，我是只会装机拆机的小白，求谭友们说说能搞吗？给个基础配置呗

需求：100人小公司，要喂内部资料，只能完全离线本地部署，不用多复杂的需求，就写写文章、内部的业务问答，这种程度的，但是不要响应太慢的（可以接受弱智，但是不要弱智到太离谱）。

看了眼咸鱼有四千的4070ti，能用吗， 有搞头吗？

鸳鸳相抱

请他圆润的……

med

哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈

寺胖

想到md大航海时代2那个劣质汉化版里的船厂老板的台词：连船的价钱都不知道，快给我出去！
不想见你脸，不要再出现！

碧琟

这个预算部署7b的也许并非不可以, 至于7b的能否满足要求, 你们试试就知道了.
或者 二手的RTX 3090 24GB 看能不能搞到, 也许有低于4000元的, 这样应该能跑14b的.

lotsbiss

碧琟 发表于 2025-3-22 15:31
这个预算部署7b的也许并非不可以, 至于7b的能否满足要求, 你们试试就知道了.
或者 二手的RTX 3090 24GB 看 ...

二手的3090回收价都是5000+

Fuero

楼主其实可以让老板去问deepseek，让D老师先教育一下

icowei

腾讯玄武实验室出了一个基于cpu的，不到 4 万元的 DeepSeek-R1-671B-Q8 部署方案。再低暂时应该不太可能

https://mp.weixin.qq.com/s/vIrvbVJ6Nv00Ehre1zZwMw

—— 来自 S1Fun

橋白

加三个零比较现实

论坛助手,iPhone

镜湖月影

70b的应该可以满足吧，671B起码要加个0还是很难用的那种。

moekyo

能用这个成本弄出来的话，要注意人身安全了

shinjiikari

楼主这个问题，令我想到十多年前某老板打算招我作部门领头人，负责开辟某国市场，我就问了一句一个月多少钱，对方讲了，“我们也是第一次做，不知道，打算给你开个6000块（人民币）一个月吧”，然后我就摆出 excuse me 的那个表情

泰坦失足

有个毛线，自学vllm+qwq 32b 4bits可以做到r1 80%的效果。问题是你做这个图啥？又不给你涨工资

论坛助手,iPad

王苍幻

没说要啥模型呀
跑个14b很简单的

—— 来自 鹅球 v3.3.96-alpha

王苍幻

镜湖月影 发表于 2025-3-22 16:09
70b的应该可以满足吧，671B起码要加个0还是很难用的那种。

6000能搞70b?

—— 来自 鹅球 v3.3.96-alpha

逆城的风

玩玩1.5b的吧

—— 来自 鹅球 v3.3.96

右代宫嘉音

碧琟 发表于 2025-3-22 15:31 这个预算部署7b的也许并非不可以, 至于7b的能否满足要求, 你们试试就知道了. 或者 二手的RTX 3090 24GB 看能不能搞到, 也许有低于4000元的, 这样应该能跑14b的.   

用魔改2080ti 22G 能跑32B的4位量化来自: iPhone客户端

忽克連

前几天看到说有个洋垃圾v100显卡16g显存可以多卡link，价格应该还可以

王苍幻

右代宫嘉音 发表于 2025-3-22 18:26
用魔改2080ti 22G 能跑32B的4位量化

7900xt就可以跑32b
不过可能比魔改2080ti贵吧

—— 来自 鹅球 v3.3.96-alpha

ljwlwd

之前看过别家企业的案例，用r1蒸馏的32b qwen配合企业产品资料转换得到的知识库，取代大部分人工客服，你这个预算买个显存最大的显卡部署个小一点的模型不知道效果如何，而且速度肯定就那样了。

—— 来自 鹅球 v3.3.96

心上人

区区6k？
用用免费的好了歪

—— 来自 samsung SM-G9810, Android 13上的 S1Next-鹅版 v2.5.2

Benighted

6000干脆本地架个OpenWebUI用API得了，你跟他们解释有啥用

蒜灵

32b也许可以？不过速度就不指望了

龙骑士尹志平

两块v100 16g+转接卡或者两块 t10 16g，可以跑32b的

lhw369

买个16g显存的显卡，装Linux和docker跑ollama完事了。16g勉强能跑个14B 4bit量化的

—— 来自 realme RMX3888, Android 15, 鹅球 v3.4.98

lhw369

顺带还能拉一个dify出来。然后给你们公司的程序员点压力，让他们搞dify工作流

—— 来自 realme RMX3888, Android 15, 鹅球 v3.4.98

samusialan

我觉得14b连翻译都只是勉强能用，往下都不知道是用来干嘛的，干聊？公司用70b才算真正入门

qwased

Benighted 发表于 2025-3-22 19:38
6000干脆本地架个OpenWebUI用API得了，你跟他们解释有啥用

挂载知识库的话是要按时长算钱的吧6k应该是不够用的

鸳鸳相抱

你们不能光跑模型就完事儿不考虑token输出啊，100号人每天排队指望着那10-20token/s的输出吗？

暁美ほむら

叫你老板加钱，加到直接让你老板放弃。不要自己给自己找麻烦。

gaowe

等你搞出来就准备开始把你们开了

—— 来自 鹅球 v3.3.96

GALLADE

认真的说，6000请个人吧

无意义小号

编辑

nekomimimode

我看不如建个跟ai根本不沾边的模糊搜索数据库索引

茶咖啡

预算6000的公司为什么需要本地部署呢

木竹九

记得有个拿傲腾内存跑的版本，成本确实很低

论坛助手,iPhone

hickrando

真要搭好用的完全体r1，单满足显存需求就要25个3090或者4090。如果只是拿蒸馏版qwen32b糊弄一下二手3090肯定比4070ti好，甚至4060ti16g可能都优先于4070ti（因为显存大），但是3090也只是能勉强跑r1蒸馏的qwen32b量化版（32b的话qwq可能更好用），要满足200多人使用和喂很多资料的需求基本不现实。任务如果简单的话，倒是可以试试用3090跑qwen2.5的14b，但是一个3090满足200多人使用可能还是很难。

hjjsjb

不够买显卡的

Midnight.Coup

Ryzen 375+32G的nuc都不止这个价，能跑70B的395+128翻个倍吧

cleverfox

为啥非得本地部署？六千买API权限能用很久