人民锐评: 用Token还是词元事关科技话语权

MeursaulT

seven777 发表于 2026-8-10 16:56
你一定支持中文编程吧

你现在还在用英文编程吗，快点使用最新最潮流的AI编程吧！还是你跟AI也全说英文， 那真是太NATIVE SPEAKER啦！    Re:Source

MeursaulT

Rowen233 发表于 2026-8-11 10:40
OpenCode好像已经把Token换成词元了准确来说是把应该翻成词元的令牌换成词元

正拉锯呢，现在又有pr把词元改成token    Re:Source

osirishan

需要像中央电视台->装垫儿台一样，把词元省略为单音节词才好推广 比如 攒

osirishan

推广后再为cuan 造一个汉字

starlight

token在编译原理（计算机专业科目）中早在几十年前就翻译成词元了，tokenize翻译成分词，tokenizer翻译成分词器，就是把输入的文本分解成便于处理的单位的过程。在LLM中非常合适，因为LLM中就是把输入串拆分构成词元串。硬要说的话，最多是多模态下词元不能简单理解为仅文本（硬扣“词”这个字眼的话）罢了，但请注意token在编译原理中翻译成词元也不是说它就是单词，而是一种抽象符号。所以我认为这翻译非常贴切，搞LLM的人本来也就是使用了编译原理中现有的词汇，现在只是把原先非常专业领域的翻译摆到了普通公众面前罢了。

随机用户名

情天绯雪 发表于 2026-8-11 10:24
词元是分词的结果，总不能管被分出来的“词”，就叫词吧

猜对了，最早分出来的那个token就是“词”，tokenlizer就是把一段文本切成一个一个的“词”。所以之前跟你讲了，“分词”最早干的事情就是分 词。当年还有PTB tokenlization告诉你怎么拆词的。比如don't要拆成do n't。
后来到2010年左右，把dl的方法引入nlp，nlp能力**增强的同时，发现会词表爆掉。还有处理一些非英语语言的需求。这才引入子词这个概念。
再后来bpe直接拿压缩算法当分词器，慢慢分出来的词跟实际内容看不出来关系了。子词改叫词粒。在后来openai搞出来byte bpe，分的越来越细，才叫词元。


—— 来自 HONOR PGT-AN10, Android 16, 鹅球 v4.0-alpha

随机用户名

情天绯雪 发表于 2026-8-11 10:28
llm就是大语言模型，非NLP领域使用的时候，内部还是词向量空间在工作

那要是tokenlize free的模型搞成了，token还叫词元不？
跟你讲了技术变化很快的……

—— 来自 HONOR PGT-AN10, Android 16, 鹅球 v4.0-alpha

Kazuhira

绝地潜兵 发表于 2026-8-6 17:26
建议推广中文编程

阅读理解
现在真正的问题是叫什么，不是用不用中文

情天绯雪

随机用户名 发表于 2026-8-11 17:32
那要是tokenlize free的模型搞成了，token还叫词元不？
跟你讲了技术变化很快的……

那还有token不？先说说你是支持放着不翻译就叫token，还是要翻译成 令牌/代币/标记/报告兵？

随机用户名

情天绯雪 发表于 2026-8-12 01:37
那还有token不？先说说你是支持放着不翻译就叫token，还是要翻译成 令牌/代币/标记/报告兵？ ...

做大模型的公司依然要拿个东西计价卖算力，大概率还是要叫token。
你是想问我的意见？我早都说过了啊，我的意见是国家可以有个官方翻译，但是不要管公众说什么，放个几年自然就有个公认的叫法。

—— 来自 HONOR PGT-AN10, Android 16, 鹅球 v4.0-alpha

龙骑士尹志平

叫token叫词元都没问题，叫令牌就不太合适，叫做令牌的东西太多了

情天绯雪

随机用户名 发表于 2026-8-12 07:23
做大模型的公司依然要拿个东西计价卖算力，大概率还是要叫token。
你是想问我的意见？我早都说过了啊，我 ...

所以通过把作为令牌的token给重命名成apikey，来解决混淆了是吧