菲尔兹奖得主邓煜评论 AI 公司「你不能只在你蒸馏全人类的知识时支持蒸馏」

神之飞雪

以下为演讲全文：

最近一段时间对数学界来说是多事之秋。对于AI时代数学研究与数学家所扮演的角色，很多人都有不同看法。对我来说，也是借这个机会表达一下我个人的观点、对未来的期待。

我今天所讲的包含两个部分。

01

首先是关于10月6号某个AI公司公布的涉及300多个问题、700多篇文章的事情。一个月前，同一个公司也公布了千禧年问题中关于带外力项Navier-Stokes方程包裹体构造的证明。这些无疑在数学界产生了非常重大的影响，也可以说是最近一系列关于数学研究、数学家大讨论的起点。

这些文章，我大概看了其中几篇。按我的理解，这些工作相当一部分都是属于数学上非常重大的进展。这些工作中的大部分，可以说都是基于人类对于相关问题的已有深刻理解和技术。AI或者是巧妙地结合了人类不同方向、不同领域的技术，或者是在人类已有的思路、思想基础上进行创新，形成新的技术或者新的思路，从而解决问题。也有一部分工作是直接跟随人类已有思路。不止一个数学家提到，他们之前喂给AI模型的想法、思路，可能在几周之后就出现在这个AI公司的最新发布里面，基本上是极为相似的做法、极为相似的证明。

这里我们可以看到AI相对于人的优势：

一个是AI具有无限知识面。对人来说，时间精力总是有限，不可能对现代数学所有领域、所有技术都有深刻了解。但是AI通过学习或者是蒸馏人类网络上的所有数学文献，是能够做到这一点的。

另一方面，AI具有极低的尝试成本，或者说试错成本。对人来说，你尝试一条思路，做了几个月，发现不行，那么这几个月时间就白费了。但是对AI来说，如果有几千个、一万个agent合作，就可以非常高效地尝试各种不同思路，进行试错。在这方面，如果人要跟AI比速度，那肯定是没有任何希望的。

这里我们要坚持一点，在数学研究中也好，在任何事情中也好，人总是作为主体；AI是作为一个工具，是我们人利用来进行研究的工具。

所以在接下来的讨论中，这是一个非常基本的前提。我们始终要以人为本，利用AI作为工具来推进我们自己的研究，推进我们自己感兴趣的问题。

在这个假设下，人就起到一个把握方向的角色，可以用AI去进行许多的尝试、试错。比如说，我们有一个思路之后，要把这个思路形成具体的路线图。路线图中的每一步，都需要非常多的细节考虑。如果路线图行不通，某些步骤、某些节点需要进行微调，这些工作都可以让AI来做，包括具体技术细节。这是一方面。

另外一方面，我们知道AI可以通过结合不同领域的思路，不同领域的技术来形成新的想法，这些想法我们当然也可以学习的。就短期来看，我们会出现人和AI共同进化的状况。AI基于人已经有的对问题的理解，发展出新的技术、对问题新的理解，从而解决新的问题；我们也可以通过学习AI的证明，发展出属于我们人的新思路、新想法；再把这些交给AI，让AI再去学习，我们再向AI学习。这是一个互相学习、共同促进的过程。

所以，这些文章的出现本身，对于数学研究具有相当大的促进作用。我们可以看到AI对数学研究的价值，对于人类的作用。显然在数学研究中，我们没有任何理由去拒绝使用这样的工具，去推进我们人的研究。

但使用工具需要有一个正确的、合适的使用方式。

对于这一点，我就要提到10月6日公布的这些问题、这些文章。我认为，它们对数学有相当大的促进作用。但是，在整个事件过程中，AI公司扮演什么样的角色？他们的行为是否具有可以商榷之处，是否有更好的选择？我觉得这两点是要完全分开的。

1.如果把AI作为研究者，就应遵守学术规范

关于AI公司的具体行为，我们可以有一个类比。

很多人会把AI模型当成一个虚拟的研究者，它通过学习网络上的文献，形成对问题的想法，进行自己的原创研究，得到相应的结果。按照这样一个标准来看的话，那么我们就得按照学术界标准。既然把它当成一个发表研究成果的研究者的话，就要按照学术界标准来进行评判。

在此评判之下，有几个标准。首先，作为一个研究者，如果你得到一个非常重大的结果，那么数学界会邀请你去进行各种各样的报告，由浅入深的各种报告。这些报告的主要目的，是解释你的证明怎么来的，背后的思路是什么。AI当然不可能去做报告，它可以做解释。对AI来说，证明背后的思路，很明显是AI的思维链。那么，如果AI证明了一个非常重大的问题，一个非常合理的要求，是公布AI的思维链。但很明显，这家AI公司并不愿意这样做。在他们公布的所有证明中，只有极少数真正公布了思维链，大多数情况下，他们都以所谓的防蒸馏为借口，拒绝公布思维链及相关的信息。

我觉得对于人来说，这是一个最简单、最明确的事情：怎么想到这样一个思路的。如果是人得到这样的结果，大家一定会问，你是怎么得到这个思路，你经历了哪些尝试。AI公司拒绝公布，很明显是不符合学术界的惯例的。

当然，关于蒸馏这个事情，我觉得其实也有很多人说过，对AI公司来讲，你不能在只有你蒸馏全人类的网络文献、全人类的知识的时候，就**方方地去蒸馏；事实上没有人想要蒸馏你，大家只是想要了解一下思维链，然后你觉得别人想要蒸馏你，就开始说这个不行，那个不行。

我觉得，在任何意义上，这都不能说是一个特别合理的理由。

除此之外，如果是人类研究者，如果用到了其他人的思路，特别是整个证明都是follow其他人思路的情况下，当然自己有责任把这件事情指出来，有责任说明基于或者完全依赖于其他人的思路；即使是用到其他人的一些思路，你也要说明。

同样，在这家AI公司公布的文章里，很多情况下我没有看到这样的说明，甚至有的证明是直接沿用人类已有思路，也没有进行相应的说明。

最后，对于人类研究者，在发表之前，首先要保证证明的正确性。这一点对AI公司来说，完全可以通过形式化的手段，在保证正确性的情况下再进行发布。当然他们也没有这么做，而是在没有任何正确性保证的情况下直接发布。事实上，后来发现了有若干篇文章——多于一篇文章是存在错误的，甚至后来也撤回了。

从这里我们可以看出，至少在10月6号这件具体事情上，这家AI公司的行为存在可以商榷之处。

masonknight

我觉得说得对！

十点半

我倒是好奇邓煜看不看国内这些ai百合二创

nice女武神

难道是因为他不满意AI写的百合小说??

seveland

十点半 发表于 2026-10-27 13:20
我倒是好奇邓煜看不看国内这些ai百合二创

可能不看

Promeus

dydqydz

nice女武神 发表于 2026-10-27 13:21
难道是因为他不满意AI写的百合小说??

可能已经自己在写邪教圣女和阳光小孩的百合文了

大耳兽

额，我居然觉得“学习就是在蒸馏前人留下的知识”这句话很有道理。

simonouozy

大耳兽 发表于 2026-10-27 13:29
额，我居然觉得“学习就是在蒸馏前人留下的知识”这句话很有道理。

搞反了吧，是ai为了污名化它们不喜欢的学习过程特地使用蒸馏这个技术词汇

小野賢章

这个回答挺不错的

作者：手动狗头
链接：https://www.zhihu.com/question/2 ... 2098208988651377097
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

这一波支持邓。

大模型的本质是什么？其实从一开始就有两种完全不同，甚至对立的理解，只不过现在硅谷的话语权完全被其中一派占据了，而这批人，压根不承认自己在蒸馏全人类。

一种我把它叫做投影论，大模型的智能来源于现实世界中的知识，能力的形状由现实世界投影进来的分布决定，这一脉的思想来自于ilya的压缩即智能，方法论来自于alec的网络数据大规模预训练，dario一开始也是这一派，和paul合作写了那篇最早的rlhf论文。

一种我把它叫做内生论，俗称的左脚踩右脚上天，认为能力住在基座/参数里，样本只是把能力放出来的钥匙。这一脉有两个来源，一波是18-19年deepmind和openai打dota的那一批人，现在openai那个jakub就是，另一波是scaling law那批人，后来的gpt3团队，dario差不多也是这个时间节点变成内生论者的。

这么说可能有点玄学，不过有一种办法可以区分，看这个人有没有把word2vec，glove，elmo，bert和gpt，以及后面的whisper和clip看成一条线，如果他认为这是一条连续的线，几乎一定是投影论者，如果他认为transformer是断点，先有transformer后有天，scaling law是game changer，大概率就是内生论者。当然了，后者这个不绝对。

对于ai的发展，两派的预测完全不同，比如我就是坚定的投影论者，所以ai在coding和数学上的进展，给我带来的震撼远远小于知乎上大部分人，因为训练语料多到逆天，同时，对大量的非标准化的知识，以及迅速更新的知识，长尾知识，投影论会预测ai能力陷入瓶颈，这也就是为什么ilya后面转去研究持续学习了。

而内生论，也就是现在最激进的这批人，既然已经相信左脚踩右脚上天了，那就没有什么是ai做不到的，全都是时间问题，你会发现投影论者喜欢讲持续学习，内生论者喜欢讲rsi，这不是偶然，因为rsi正好跳过了和世界交互的部分。

https://www.zhihu.com/pin/2082696594315595994

从投影论的角度看，大模型就是在蒸馏全世界，而从内生论的角度看，ai牛逼是因为我的模型牛逼，世界知识只是一个引子，既然已经不觉得自己站在全世界智能的肩膀上，自然会对其他学科，其他行业，傲慢无比。比如今年的dario就是一个很好的例子，大家完全无法区分他是在撒谎，还是他真心觉得自己从来没有蒸馏过别人，外面的人都在蒸馏他的模型，偷自己的智能，更有可能的是，内生论可以完美的将所有功劳归功于自己，把所有的外部指控归因于嫉妒，自己把自己骗了。

这个框架也能解释为什么从去年开始，某几个美国ai公司变的越来越annoying，因为随着alec，paul淡出主流模型圈，ilya闭关，目前主流美国ai公司的话语权完全掌握在了内生论者手上。内生论从根子上就不觉得其他行业的domain knowledge有价值，自然谈不上尊重，从这个角度讲，数学家们不愤怒，才是怪事。

从这个角度能得出来的另一个结论就是，如果你相信投影论，那么普通人反抗ai霸权的最佳方法，就是用开源模型把所有的闭源模型都蒸馏个遍，把被藏起来收租的知识还给人类，这是天然正义。

和问题无关的，我关于投影论的一些思考：

https://www.zhihu.com/question/2 ... 2074447385732957231

TTAA

AI公司就是在竭泽而渔嘛，把数学研究成果占为己有

枯风瘦雪

TTAA 发表于 2026-10-27 13:44
AI公司就是在竭泽而渔嘛，把数学研究成果占为己有

谈不上占为己有，他们的目的还是借助人类共识来为自己的“模型智能水平”背书
不过你想想他们烧着接近十个点利息的几百亿美刀就为做纯数学问题，某种意义上也是真的很浪费啊，这成本都够给所有数学工作者发多久工资了……

2017.05.04

A畜和O畜的好日子也快到头了

—— 来自 HUAWEI CMM-AL10, Android 16, 鹅球 v4.0-alpha

chris1987

我记得以前Alpha go 的时候好像工程师就尝试从后台数据了解AI是怎么得到走这步会赢的，但好像因为AI的逻辑和人类逻辑不一样所以也没办法完全了解和读懂？

那么目前AI去证明数学难题的时候，是不是目前人也很难去破解AI是如何思考从而得出的结论？

枯风瘦雪

chris1987 发表于 2026-10-27 13:52
我记得以前Alpha go 的时候好像工程师就尝试从后台数据了解AI是怎么得到走这步会赢的，但好像因为AI的逻辑 ...

看具体问题，之前甩出的722篇论文，关于西格尔-朗道猜想的证明已经由不同人类数学家在学习后给出了几个不同版本的重阐述了，最好的一个版本就三页纸篇幅，行业内的人类精英还是能从ai的产出中获得有益的知识的

风速前进mo

chris1987 发表于 2026-10-27 13:52
我记得以前Alpha go 的时候好像工程师就尝试从后台数据了解AI是怎么得到走这步会赢的，但好像因为AI的逻辑 ...

alpha go是完全针对围棋特化的ai，计算方式是个黑盒，人很难理解。现在大众说的ai，主要指的是大语言模型，虽然同样通过黑盒的深度学习网络来推测词语的概率，但为了提高性能会有一个叫“思维链”的工程，让模型模仿人类思考先输出一堆可读的文字，然后再输出正式的回答。oa两家思维链是不对用户开放的，所以大家只能看到ai精简后的回答，看不到ai的试错和思路。这部分内容一般都是人能理解的，不存在alphago那种情况。

pf67

现在不是不承认有蒸馏么

Vneeto

pf67 发表于 2026-10-27 14:01
现在不是不承认有蒸馏么

并非，大模型之间蒸蒸日上是很平常的事，而事实上无论有没有蒸馏，都不该把蒸馏视为恶毒的罪过而批判攻击，这些对蒸馏的污名化攻击就是A\正在做的。

ww279620040

太阳底下无新事，归根到底无外乎就是——生产工具掌握在哪个阶级的手里？

zjz1

小野賢章 发表于 2026-10-27 13:38
这个回答挺不错的

感觉现在ai就像是股市，惯性使得模型迭代速度越来越快、性能越来越强，也使得参与者和使用者对此越来越乐观，仿佛发展可以空中楼阁无限左脚踩右脚，脱离了物质基础。但是这种发展往往会在某个点戛然而止，类似于金融危机，突然间就shock了。

拘翼

话是这样说，但蒸馏闭源模型确实要麻烦不少。又是搞账号又要买会员还得担忧被封号，用中转站又怕不靠谱。下一步还得指望国产芯片。最近的一些迹象看，在封禁措施下，闭源已经很难蒸馏了，一个是识别封号，一个偷偷加料，还怎么搞。到了今天，我估计蒸馏的时代已经过去了，现在再提这个有点晚。

nice女武神

chris1987 发表于 2026-10-27 13:52
我记得以前Alpha go 的时候好像工程师就尝试从后台数据了解AI是怎么得到走这步会赢的，但好像因为AI的逻辑 ...

https://www.bilibili.com/video/BV1nTnz6eEXb

这视频你可以看一下   有AI思考链的追踪

wlhlz

说白了，很多AI“支持者”的心态跟带路党是一模一样，“你觉得你牛逼？现在是太君牛逼了，你还牛逼的起来吗？”把太君替换成AI即可

rbh0830

主要想污名化蒸馏来达成垄断目的。人为设置门槛，上车的想把后面没上车的都踹下去的行为。

名居守

感觉怎么是在点名a/
印象里就它家最喜欢蒸馏别人模型的同时指责别人蒸馏它家模型
还有信徒把蒸馏妖魔化说国模蒸馏

jojog

打成小画师

2017.05.04

名居守 发表于 2026-10-27 15:09
感觉怎么是在点名a/
印象里就它家最喜欢蒸馏别人模型的同时指责别人蒸馏它家模型
还有信徒把蒸馏妖魔化说国 ...

一种用户筛选
电炸也靠说几句离谱的先筛选受众智力水平好方便后续骗钱