国家数据局：Token定名为“词元”，要搞算电货币

有鱼

yuzinheart 发表于 2026-3-27 12:54
字词句  咋不叫字元 哈哈
歪个楼  
我发现AI很容易堆砌  我问这个prompt怎么写更好，会写完之后再提几点建 ...

现代汉语的基本成分更像是词语而非单字了，所以选择词而非字更合适

有鱼

無始無終 发表于 2026-3-27 09:11
对AI而言都是token而不是都是词，为什么token=词？你后面举的例子我甚至都看不懂和前面的有什么逻辑关系 ...

其一，“大语言模型”也就是llm这个名词本身就反映了现在ai的工作模式，起源就是文本的token化，也就是把文本拆成一系列“词元”进行处理。
其二，至于为什么选择词，很简单，现代汉语的基本语义元素就是词。
其三，多模态引入的其他形式的输入输出，可以理解为将其他媒介的数据进行分割，也就是token化，然后和文本token等其他形式的token之间再进行语义对齐等，然后统一处理。当讨论多模态的时候，往往也是用image token等，对应的翻译成图片词元不就完事了？
其四，我觉得你说的“智元”和“意元”这两个选项太强了，现在的llm还不配。

zxdrtyhn

yuzinheart 发表于 2026-3-27 12:54
字词句  咋不叫字元 哈哈
歪个楼  
我发现AI很容易堆砌  我问这个prompt怎么写更好，会写完之后再提几点建 ...

因为一个token就是对应一个单词啊

—— 来自 OnePlus PJD110, Android 16, 鹅球 v3.5.99

Vzero

条码人 发表于 2026-3-25 22:57
都十年了，能不能给transformer也给一个中文名啊

转译层

英文缩写翻译成中文有两个要点
一是要意译
二是音节数量不能比英文缩写多两个或者以上

走来走去

美国码农词汇太贫乏了，最应该吐槽的不应该是LLM里这个large么，参数多就叫大xxx？ 那后面咋办？ huge还是bigger？

Jet.Black

走来走去 发表于 2026-3-27 16:16
美国码农词汇太贫乏了，最应该吐槽的不应该是LLM里这个large么，参数多就叫大xxx？ 那后面咋办？ huge还是b ...

Large, very large, ultra large, super large, extremely large

可参考无线电

青蛙叔叔

莫邪效果，特招Token～
太阿效果，特招Token ~