我觉得干脆让deepseek和月之暗面合并算了，反正都没上市，两个公司可是非常互补啊。 ...
这两位还是竞争好，你搞个新技术我搞个新技术，大家相互开源之后良性竞争有利于行业进步
然后 Z➗这只吃不拉只想恰烂钱的滚出去
Re:Source 楼上老哥你编辑掉吧
我还以为你说的是马华腾或者福报马之类的 DeepSeek不融资怕是里面的开发人员要跑光了。。。
ycjiang1337 发表于 2026-5-6 15:34
其实是反过来的，技术报告里提到训练用的还是H800。真实的过程是DeepSeek搞来了少量B200做了测试，发现MX ...
训练怎么可能用H800，欲盖弥彰而已，DS4是原生FP4精度的，你怎么拿H800这代卡训练。有些东西不要问太细。 tillnight 发表于 2026-5-6 16:51
训练怎么可能用H800，欲盖弥彰而已，DS4是原生FP4精度的，你怎么拿H800这代卡训练。有些东西不要问太细。 ...
DSV4 不是原生 FP4 吧，搞的是 QAT
Tech report 3.4：为了在部署阶段实现推理加速和节省显存，我们在后训练阶段引入量化感知训练（Quantization-Aware Training, QAT）（Jacob et al., 2018），使模型能够适应量化带来的精度下降。我们将 FP4（MXFP4）量化（Rouhani et al., 2023）应用于两个部分：第一，MoE 专家权重，这是 GPU 显存占用的主要来源之一（OpenAI, 2025）；第二，CSA indexer 中的 Query-Key（QK）路径，在这里 QK activations 会完全以 FP4 格式缓存、加载和相乘，从而在长上下文场景下加速 attention score 的计算。此外，在 QAT 过程中，我们还进一步将 index scores I:,: 从 FP32 量化到 BF16。该优化使 top-k selector 获得 2 倍加速，同时保持 99.7% 的 KV entries 召回率。
对于 MoE 专家权重，我们遵循 QAT 的常见做法：optimizer 维护的 FP32 master weights 会先被量化为 FP4，然后再反量化回 FP8 进行计算。值得注意的是，我们的 FP4 到 FP8 反量化是无损的。这是因为 FP8（E4M3）相比 FP4（E2M1）多出 2 个 exponent bits，因此具有更大的动态范围。因此，只要每个 FP8 量化块（128 × 128 tiles）内部 FP4 子块（1 × 32 tiles）的最大 scale factor 与最小 scale factor 之间的比值不超过某个阈值，细粒度的 scale 信息就可以被 FP8 扩展后的动态范围完全吸收。我们通过实验验证，当前权重满足这一条件。这使得整个 QAT pipeline 可以在不做任何修改的情况下完全复用现有的 FP8 训练框架。
在反向传播中，梯度是相对于 forward pass 中相同的 FP8 权重来计算的，并直接传播回 FP32 master weights；这等价于在量化操作上使用 Straight-Through Estimator（STE）。这也避免了重新量化转置权重的需求。
在 RL 训练的推理和 rollout 阶段，由于这些阶段不涉及反向传播，我们直接使用真实的 FP4 量化权重，而不是模拟量化。这样可以确保采样阶段的模型行为与线上部署完全一致，同时减少 kernel 的内存加载，实现实际加速，并显著降低显存消耗。我们对 CSA indexer 中的 QK 路径也采用类似处理。 一个芯片从设计到流片到量产 得多久啊，别瞎yy好么 ycjiang1337 发表于 2026-5-6 15:22
昇腾950明摆着就是按Deepseek的需求做的，不然国内谁用得了这么多MXFP8和FP4算力
—— 来自 HUAWEI SGT- ...
。。哥，按照你这个思路，nv的芯片也是按照ds的需求设计的
虽然也差不多是
—— 来自 OPPO PKU110, Android 16, 鹅球 v3.5.99 梁圣想搞agi，真能支撑他搞出来的绝对不是马化腾或者马云。 也没勾结那么深吧，只是提前声明后软件和硬件研发都遵循了同一套业界标准去做了
————————————————————————————————————————————————
国际主流FP8技术路线以IEEE相关标准为基础，形成了以e4m3和e5m2为核心的格式体系，并通过动态缩放策略与硬件优化实现高效AI计算。其中，NVIDIA作为技术推动者，在传统格式基础上发展出微缩块格式（MXFP8）。
DeepSeek官微在置顶留言里表示UE8MO FP8是针对即将发布的下一代国产芯片设计。
2025年，随着UE8M0 FP8精度标准的落地，这一局面迎来根本性转变——该标准通过“无符号指数+零尾数”创新设计，舍弃符号位以扩大动态范围，在降低硬件实现难度的同时，填补了国产芯片在精度与效率上的短板，标志着国产AI从“跟着英伟达屁股后面跑”到“自己制定游戏规则”的战略转型。 upd
https://x.com/i/status/2051913837708710170
https://p.sda1.dev/32/1148f84803f39075a7925c718a5f0219/image.jpg
—— 来自 Xiaomi 24117RK2CC, Android 16, 鹅球 v3.5.99 tillnight 发表于 2026-5-6 16:51
训练怎么可能用H800，欲盖弥彰而已，DS4是原生FP4精度的，你怎么拿H800这代卡训练。有些东西不要问太细。 ...
你看错了，技术报告里写得清清楚楚的，FP4是QAT训练，用FP8模拟的，原文里明确说了使用的硬件不支持FP4所以得不到训练算力增益
—— 来自 HUAWEI SGT-AL50, Android 12, 鹅球 v3.4.97-alpha StrangerJ 发表于 2026-5-6 17:21
。。哥，按照你这个思路，nv的芯片也是按照ds的需求设计的
虽然也差不多是
虽然MXFP4确实是B卡新引入的特性特性，但是国内除了DS之外根本没有用到FP4的，连FP8训练都没有。如果DS不提需求的话，你是华为你塞那么多用不上的晶体管干啥？
—— 来自 HUAWEI SGT-AL50, Android 12, 鹅球 v3.4.97-alpha 鲁邦三世1 发表于 2026-5-6 15:48
你这是想造出一个多大的垄断公司？
就现在这个规模完全跑通芯片制造，通关制裁以后怕不是要各种拆分
如果AI未来真是基础建设，那么国资垄断其实没啥大问题。 ds和月之暗面好像是之间的一些思路算法的相互共享和引用，没有形成技术壁垒，并没有合并吧，只是鬼佬吐槽牢美的ai商业公司八百个心眼子互相提防，不像老钟公司的技术共享互惠，所以老钟的ai追的那么快 龙骑士尹志平 发表于 2026-5-6 19:35
ds和月之暗面好像是之间的一些思路算法的相互共享和引用，没有形成技术壁垒，并没有合并吧，只是鬼佬吐槽牢 ...
现在头部几家模型都开源
—— 来自 HUAWEI SGT-AL50, Android 12, 鹅球 v3.4.97-alpha ycjiang1337 发表于 2026-5-6 19:41
现在头部几家模型都开源
—— 来自 HUAWEI SGT-AL50, Android 12, 鹅球 v3.4.97-alpha
不仅是开源，ai模型开源又不开源全代码，ds和kimi是核心算法和思路的相互借鉴，ds用kimi的优化器，kimi用ds的mla。 龙骑士尹志平 发表于 2026-5-6 19:52
不仅是开源，ai模型开源又不开源全代码，ds和kimi是核心算法和思路的相互借鉴，ds用kimi的优化器，kimi用 ...
那也谈不上特别亲密，或者说国内开源界整体就挺交换技术的，GLM还用DSA呢
本帖最后由 Lorraine_Kinney 于 2026-5-6 20:03 编辑
阿川下场卖api中转站了
https://worldclaw.ai/#world-router
国家大基金 2024 年从财政部、地方政府及国有银行等处共募集到约 470 亿美元资金，重点投资半导体设备和材料。目前大基金注资的对象均为国内芯片行业的核心选手，包括中芯国际、长江存储等关键制造企业。一旦本轮融资落地，这将是它首次公开注资本土大语言模型厂商。
https://www.ithome.com/0/946/841.htm 哈利谢顿 发表于 2026-5-6 15:59
眼花了……
那是democratic，不是domestic 龙骑士尹志平 发表于 2026-5-6 19:52
不仅是开源，ai模型开源又不开源全代码，ds和kimi是核心算法和思路的相互借鉴，ds用kimi的优化器，kimi用 ...
开源模型必须得开源结构代码啊，想什么呢
—— 来自 HUAWEI SGT-AL50, Android 12, 鹅球 v3.4.97-alpha ft关于ds的一切消息都可以视为造谣
论坛助手,iPhone minimax现在港股市值就有2500亿，DeepSeek 3000亿有点太低了，属于国资友情价了
—— 来自 Xiaomi 2509FPN0BC, Android 16, 鹅球 v3.5.99 别的方向不太清楚，但FT关于中国半导体方面的爆料基本都很准 Re:Source 说起来隔壁的 DeepSeekV4 专楼就是因为 FT 的报导而开的 不太懂金融,如果ds不缺钱,是不是就不用融资或者上市了? zouyun147 发表于 2026-5-7 15:04
不太懂金融,如果ds不缺钱,是不是就不用融资或者上市了?
梁以及幻方从钱的角度来说是不需要，要的是别的东西。比如他需要融一笔钱来给Deepseek定价，或者他需要利益分享给其他方面 Re:Source zouyun147 发表于 2026-5-7 15:04
不太懂金融,如果ds不缺钱,是不是就不用融资或者上市了?
要给手下利益，要不然隔三差五被挖走一个可受不了 估值能影响期权价格，如果实行期权激励并且有可以落实的行权方式，倒是留人的好方法。
—— 来自 鹅球 v3.5.99 zouyun147 发表于 2026-5-7 15:04
不太懂金融,如果ds不缺钱,是不是就不用融资或者上市了?
像ds、宇树上市是国资委任务
—— 来自 HUAWEI ALN-AL80, Android 12, 鹅球 v3.5.99-alpha
页:
1
[2]