老板出六千本地部署Deepseek有搞头吗？
真不是开玩笑，老板说预算6000，我是只会装机拆机的小白，求谭友们说说能搞吗？给个基础配置呗
需求：100人小公司，要喂内部资料，只能完全离线本地部署，不用多复杂的需求，就写写文章、内部的业务问答，这种程度的，但是不要响应太慢的（可以接受弱智，但是不要弱智到太离谱）。
看了眼咸鱼有四千的4070ti，能用吗， 有搞头吗？
请他圆润的…… 哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈 想到md大航海时代2那个劣质汉化版里的船厂老板的台词：连船的价钱都不知道，快给我出去！
不想见你脸，不要再出现！ 这个预算部署7b的也许并非不可以, 至于7b的能否满足要求, 你们试试就知道了.
或者 二手的RTX 3090 24GB 看能不能搞到, 也许有低于4000元的, 这样应该能跑14b的.
碧琟 发表于 2025-3-22 15:31
这个预算部署7b的也许并非不可以, 至于7b的能否满足要求, 你们试试就知道了.
或者 二手的RTX 3090 24GB 看 ...
二手的3090回收价都是5000+
楼主其实可以让老板去问deepseek，让D老师先教育一下 腾讯玄武实验室出了一个基于cpu的，不到 4 万元的 DeepSeek-R1-671B-Q8 部署方案。再低暂时应该不太可能
https://mp.weixin.qq.com/s/vIrvbVJ6Nv00Ehre1zZwMw
—— 来自 S1Fun 加三个零比较现实
论坛助手,iPhone 70b的应该可以满足吧，671B起码要加个0还是很难用的那种。 能用这个成本弄出来的话，要注意人身安全了 楼主这个问题，令我想到十多年前某老板打算招我作部门领头人，负责开辟某国市场，我就问了一句一个月多少钱，对方讲了，“我们也是第一次做，不知道，打算给你开个6000块（人民币）一个月吧”，然后我就摆出 excuse me 的那个表情 有个毛线，自学vllm+qwq 32b 4bits可以做到r1 80%的效果。问题是你做这个图啥？又不给你涨工资
论坛助手,iPad 没说要啥模型呀
跑个14b很简单的
—— 来自 鹅球 v3.3.96-alpha 镜湖月影 发表于 2025-3-22 16:09
70b的应该可以满足吧，671B起码要加个0还是很难用的那种。
6000能搞70b?
—— 来自 鹅球 v3.3.96-alpha 玩玩1.5b的吧
—— 来自 鹅球 v3.3.96 碧琟 发表于 2025-3-22 15:31 这个预算部署7b的也许并非不可以, 至于7b的能否满足要求, 你们试试就知道了. 或者 二手的RTX 3090 24GB 看能不能搞到, 也许有低于4000元的, 这样应该能跑14b的.
用魔改2080ti 22G 能跑32B的4位量化 前几天看到说有个洋垃圾v100显卡16g显存可以多卡link，价格应该还可以 右代宫嘉音 发表于 2025-3-22 18:26
用魔改2080ti 22G 能跑32B的4位量化
7900xt就可以跑32b
不过可能比魔改2080ti贵吧
—— 来自 鹅球 v3.3.96-alpha 之前看过别家企业的案例，用r1蒸馏的32b qwen配合企业产品资料转换得到的知识库，取代大部分人工客服，你这个预算买个显存最大的显卡部署个小一点的模型不知道效果如何，而且速度肯定就那样了。
—— 来自 鹅球 v3.3.96 区区6k？
用用免费的好了歪
—— 来自 samsung SM-G9810, Android 13上的 S1Next-鹅版 v2.5.2 6000干脆本地架个OpenWebUI用API得了，你跟他们解释有啥用 32b也许可以？不过速度就不指望了 两块v100 16g+转接卡或者两块 t10 16g，可以跑32b的 买个16g显存的显卡，装Linux和docker跑ollama完事了。16g勉强能跑个14B 4bit量化的
—— 来自 realme RMX3888, Android 15, 鹅球 v3.4.98 顺带还能拉一个dify出来。然后给你们公司的程序员点压力，让他们搞dify工作流
—— 来自 realme RMX3888, Android 15, 鹅球 v3.4.98 我觉得14b连翻译都只是勉强能用，往下都不知道是用来干嘛的，干聊？公司用70b才算真正入门 Benighted 发表于 2025-3-22 19:38
6000干脆本地架个OpenWebUI用API得了，你跟他们解释有啥用
挂载知识库的话是要按时长算钱的吧6k应该是不够用的 你们不能光跑模型就完事儿不考虑token输出啊，100号人每天排队指望着那10-20token/s的输出吗？ 叫你老板加钱，加到直接让你老板放弃。不要自己给自己找麻烦。 等你搞出来就准备开始把你们开了
—— 来自 鹅球 v3.3.96 认真的说，6000请个人吧 本帖最后由 无意义小号 于 2025-3-23 01:49 编辑
编辑 我看不如建个跟ai根本不沾边的模糊搜索数据库索引 预算6000的公司为什么需要本地部署呢 记得有个拿傲腾内存跑的版本，成本确实很低
论坛助手,iPhone 本帖最后由 hickrando 于 2025-3-23 07:19 编辑
真要搭好用的完全体r1，单满足显存需求就要25个3090或者4090。如果只是拿蒸馏版qwen32b糊弄一下二手3090肯定比4070ti好，甚至4060ti16g可能都优先于4070ti（因为显存大），但是3090也只是能勉强跑r1蒸馏的qwen32b量化版（32b的话qwq可能更好用），要满足200多人使用和喂很多资料的需求基本不现实。任务如果简单的话，倒是可以试试用3090跑qwen2.5的14b，但是一个3090满足200多人使用可能还是很难。 不够买显卡的 Ryzen 375+32G的nuc都不止这个价，能跑70B的395+128翻个倍吧 为啥非得本地部署？六千买API权限能用很久
页:
[1]
2