人民锐评: 用Token还是词元事关科技话语权

半江瑟瑟半江红

虚无缥缈的分身 发表于 2026-8-7 07:44
DeepSeek什么时候改名，中国第一ai得起带头作用吧

—— 来自 S1Fun

深度求索

—— 来自 HUAWEI SGU-AL10, Android 16, 鹅球 v4.0

fat

半江瑟瑟半江红 发表于 2026-8-7 07:50
深度求索

—— 来自 HUAWEI SGU-AL10, Android 16, 鹅球 v4.0

我不管，我就要叫大肥鱼和大肥鱼公司    Re:Source

aaadhg

跟计算机有关，还是基础单位，计子、算子、机子选一个吧

呆呆木

泥潭叫S1 怎么翻译

绝地潜兵

呆呆木 发表于 2026-8-7 08:39
泥潭叫S1 怎么翻译

华语第一动漫论坛

orca

ly4236 发表于 2026-8-6 18:12
感觉单字“符”不错

道士：咦，你也卖符啊，那咱俩是同行啊
瓢虫：啊，有卖福的？哪里哪里？

呆呆木

绝地潜兵 发表于 2026-8-7 08:40
华语第一动漫论坛

这个例子很好的解释了为啥不用中文翻译

ArowRocher

不反对规范译名，反对起高调八股文    Re:Source

笨拙的机器人

支持transformer叫变形金刚

泰坦失足

LLM用的token->词元. 那鉴权用token该叫什么? 桌游场景下的指示图Token又该叫什么? 区块链的Token又该叫啥.
不如想个读音近的汉字糊弄过去, 或者回归原本就叫代币. 毕竟一段话, 用不同Tokenizer后就是不同的token, 不同的token又不能直接互相转换. 本质上还是代币.

Wiksy

wangandh 发表于 2026-8-6 23:34
API
wifi
APP

这正是这些技术词汇汉语化不完全的表现啊

尤其是不能一边说英语里面来源读音都乱七八糟的屎山太多，一边又放任中文里越来越多地夹杂未汉语化的词汇滑向屎山吧。总得稍微想办法正规化一下。

火炎龍

泰坦失足 发表于 2026-8-7 09:47
LLM用的token->词元. 那鉴权用token该叫什么? 桌游场景下的指示图Token又该叫什么? 区块链的Token又该叫啥. ...

本来不同语言的一个词的范围就不是完全对应的嘛，一个词在不同情景下用不同的翻译词
drug拿来治病的时候对应的是“药”，拿来折叠就是“毒品”
鉴权已经有很久以前的翻译“令牌”了

忙趁东风放纸鸢

OpenAI：开放人工智能研究中心

—— 来自 鹅球 v4.0

wangandh

Wiksy 发表于 2026-8-7 10:48
这正是这些技术词汇汉语化不完全的表现啊

尤其是不能一边说英语里面来源读音都乱七八糟的屎山太多，一边 ...

我意思是这些都有中文标准译名，没人用而已

perfect_duck

燕山雪 发表于 2026-8-6 19:47
话说上次广电禁缩写已经是十几年前了吧，这算是新一代领导在向前辈致敬么？ ...

当时美职篮还很火

zypyong

没什么用，语言融合是趋势

CURE_HGCG

我个人是反对在正规中文里加入非汉字内容的

ddddxxx

泰坦失足 发表于 2026-8-7 09:47
LLM用的token->词元. 那鉴权用token该叫什么? 桌游场景下的指示图Token又该叫什么? 区块链的Token又该叫啥. ...

这是英语屎山的问题。token 原本指用于记号的物件，又在上面堆出代币，令牌，词元几种不相干的衍生用法。中文表述是更精确的。

就语言模型领域，词元应该是比算元更好的名字，意思是语言模型一次吃掉或者吐出的词的基本单位。至于吐词的过程花费多少算力，或花多少钱，是另一回事。

Re:Source

我被骗了五块钱

在火纹新作把万紫千红四个汉字翻译成万缕千丝之后我完全支持国家规范外来语翻译，你们觉得多此一举，别人是真的在抢夺话语权的，这种完全来自于汉语古籍的同源词都能给你换几个字恶心你一手

jian酱

技术没掌握话语权，光起名字搞话语权有点尬了。

音节都是两个音对沟通也没方便，显示也都短也没优势。属于使用上非必要不增加代号产生混乱的。

ternayark

ddddxxx 发表于 2026-8-7 15:29
这是英语屎山的问题。token 原本指用于记号的物件，又在上面堆出代币，令牌，词元几种不相干的衍生用法。 ...

现在有几个LLM是纯文字非多模态的

orangee

ddddxxx 发表于 2026-8-7 15:29
这是英语屎山的问题。token 原本指用于记号的物件，又在上面堆出代币，令牌，词元几种不相干的衍生用法。 ...

我现在倒觉得退而求其次直接令牌算了，虽然没有更精确，但说一个名词是牌结尾能让人家觉得这东西是个能用掉的东西。一个元结尾的词只会想到外国货币，或者楼房的单元这类的，对不上大众使用习惯。

再或者……把字根这个词拿出来用？

—— 来自 鹅球 v3.3.96

雨昼斯基

一个经典笑话：string（线）的近义词是thread（线）
为什么string是字符串，thread是线程，Handle是句柄？反对在大预言模型领域将token译作词元的心理，到底是出于对语言翻译质量的追求，还是“我二十五岁之前翻译都是好的，二十五岁之后出现的翻译都是坏的”？

缪斯替

每次碰见这种话题都能冒出来几个连单个外语词根据语境不同能翻译成不同词语都不知道的人……

雨昼斯基

在翻译史上，词语的多种译法中一种译法胜过另一种译法靠的往往不是翻译质量，而是先发优势带来的习惯，语言现象具有强大的习惯适应力，即使是差劲的翻译，在一代人的习惯使用后也会变成母语者的自然用法。我看大语言模型领域对token除了词元之外的译法，其认可度和影响力都完全不如词元，更何况词元的译法甚至早于LLM的流行，已经具有一定的习惯力了。
名词翻译和文本翻译不同，文本翻译追求准确将一门语言中的意思转换成另一门语言，有时候还会故意保留特殊的文法使读者明白这是外语文学；而名词翻译再翻译之外，还含有将新事物在一门语言中重新命名的意思。
有人会询问为什么苹果是apple，为什么汉语里没有be用法吗？
就算不能把token的所有语境含义准确地翻译成汉语里的一个词又怎样了？难道因为这种事情的存在，汉语就失去命名种种新事物了吗？

jojog

易语言能不能先复活一下

小妻水亚美

先要解答 老美为什么要用token来指代

—— 来自 vivo V2454DA, Android 16上的 S1Next-鹅版 v2.5.2

wlbthh

看最新一篇人民锐评吧，讲英文翻译潜含义的，感觉不错

—— 来自 Xiaomi 23049RAD8C, Android 13, 鹅球 v3.5.99

jshtstong

翻译问题就是话语权问题，所以应该也必须有通用的中文翻译，现在争论那个词更好更准确更顺口，这不重要，重要的是我们必须有自己的中文定义权。

我们不能把一个外语单词，直接镶嵌到我们的中文文本里面。最后就算用”脱肯“这个词都可以接受，反正和沙发，咖啡，菲林，吧唧一样，音译词也是词，也能认识也能用。但就是不能直接用”token“镶嵌到文本里面。

红坦克

必须要啊还用说么，英文早晚被自己的新造词和缩写病弄死，中文早晚变成唯一承担文明延续记录的语言

猫?魔铃

纠结这个干啥，先管管你们的写进法里书里的“掉头”，“鲁棒性”……之类的东西吧

猫?魔铃

七千星 发表于 2026-8-6 17:47
既然有原子，量子，质子，那也可以叫算子嘛

我觉得这个比词元好

→熙←

我是支持词元的, 外行至少可以望文生义
token鬼知道什么东西啊, 这种词多了就变成了行业壁垒

放大镜

perfect_duck 发表于 2026-8-7 14:30
当时美职篮还很火

火是火，但这个例子其实有些片面，因为官方新闻里常见常用的反例实在太多了

比如所有international开头的国际组织、IMF IMO ISO等第一个音节为避免混淆就不可能简化为“国”，只能译作“国际”，音节天然多一个；如果简化为“世”，那又得跟world打头的那一堆撞上

ddddxxx

缪斯替 发表于 2026-8-7 19:49
每次碰见这种话题都能冒出来几个连单个外语词根据语境不同能翻译成不同词语都不知道的人…… ...

还是英语中心主义。要从西班牙语里借词，他们就没那么热衷了。

Re:Source

ddddxxx

猫?魔铃 发表于 2026-8-8 12:36
我觉得这个比词元好

最糟糕的名字。算子是既有词，语言模型里的矩阵乘法就是一种算子，这么窄的领域里撞词可不是好主意。

Re:Source

春秋

不如叫智筹，简称筹，用语中可以说消耗多少多少筹。

lixkang

算力不行就叫计算力啊

猫?魔铃

其实我觉得没必要，就token就挺好
这也算不上什么外来语污染之类的东西，token就是英语，现在大家都学过英语了，水平不说多高，一个词还是认得的，而且这个词本身也很抽象，已经成了if  else  for select json xml yaml html js……之类的东西，你能允许这些存在，没必要和token较劲
既然你非要英语里说春节，龙……，认为把龙译成抓根不对，那汉语环境里就用token也没什么问题，人也不能太双标
应该警惕的是，我方发明词汇的时候优先用英语思维，应该努力把我方发明的汉语词汇传出去。

danbreath

现在讲 token 的人有多少真的知道它的含义，有多少是跟风人云亦云的

大部分反对只是在公式推塔罢了