Token通常解释为“词元”，是AI大模型的基础计量单位。

　　随着OpenClaw的爆火，Token消耗量呈指数级增长，这一技术术语迅速破圈成为行业热词。3月16日，阿里巴巴宣布成立Alibaba Token Hub事业群，并以“创造Token、输送Token、应用Token”为核心目标。

　　一个计量单位，何以“冠名”科技大厂的战略部门？

　　从“代币”到“词元”

　　Token是一个计算机领域的多义词，最初以虚拟货币中“代币”的含义进入大众视野，比如比特币、以太坊等都属于Token。

　　随着人工智能时代的到来，Token不再是虚拟货币，而是词元，相当于大语言模型处理、理解和生成文本的最小基本计算单位。以人类自然语言为例，我们的语言最小单位通常是“字”，而在计算机语言中，Token就相当于“字”，但并非是一个字等于一个Token，而是介于“字”和“词语”之间的计算单元。

　　一个Token可以拆分成几个字，主要由大模型配套的分词器（Tokenizer）决定，不同语言、不同模型的拆分结果有明显差异。比如，“人工智能”有四个字，但有些大模型拆分成“人工”和“智能”两个Token，有些把“人工智能”视为一个Token。

　　“单个汉字、高频常用词组、标点符号、数字等，通常会合并成一个Token，但生僻词组往往会每个字算一个Token。”上海某大模型公司技术工程师告诉记者，英文语句也比较复杂，单词会根据语态、词根、词缀等不同算作是不同的Token。

　　即便是同一段文字，不同大模型采用不同的分词器规则，Token数量可能天差地别，OpenAI、Meta、阿里巴巴、字节跳动等都有专门的分词器规则，国产大模型对中文的Token分词更加科学和高效。

　　据了解，随着多模态大模型发展，图像、音频、视频等非文本内容，也会被模型拆分为对应的视觉Token、音频Token进行处理，但与大语言模型的分词逻辑基本一致，都是将非结构化的数据，拆分成可计算的最小单元。

　　模型能力核心指标

　　Token不仅是大模型的最小计算单元，也是大模型能力的核心指标之一。

　　以上海阶跃星辰最新大模型Step3.5 Flash为例，官方文档表示最新模型“能够高效处理高达256K的上下文”，其中“256K上下文”意味着这款模型能处理“25.6万个Token”的总文本长度。

　　通常来说，大模型在单次对话中能够处理的Token数量越高，大模型能力也越强。

　　记者了解到，大模型生成本文的实质，是基于上文内容，逐个预测下一个概率最高的Token，再把预测出的Token序列解码成人类可读的自然语言。因此，模型的每一步生成、推理计算，都是建立在Token处理的基础上。

　　因此，全球绝大多数大模型服务，按照“输入Token数量”加上“输出Token数量”进行计费，Token的消耗直接对应大模型的使用成本。

　　由于OpenClaw的每一项任务，都会分解成不同的指令，指令并行时会消耗大量的Token，因此有些高频“养虾”的开发者每月账单可达上万元。

　　目前，大模型正从“聊天AI”向自主执行复杂任务的AI智能体转变，Token消耗呈现出明显的指数级增长趋势。第三方调研数据显示，2024年，中国整体日均Token消耗约1000亿，今年2月，这一数据已飙升至180万亿。

　　因此，不少行业人士认为，全球大模型行业正在迈向“Token经济”，即大模型的价值不再只以前沿推理能力作为单一指标，而是加入“以Token计价”的商业经济指标。

　　AI时代新“货币”

　　在互联网时代，流量是大厂必争之地，在AI时代，Token替代了流量，成了新的“货币”。

　　3月16日晚间，阿里巴巴集团CEO吴泳铭在内部信中宣布，成立Alibaba Token Hub（ATH）事业群，涵盖通义实验室、MaaS业务线、千问事业部、悟空事业部及AI创新事业部，建立以“创造Token、输送Token、应用Token”为核心目标的新组织。

　　依据最新分工，通义实验室负责不断追求基础模型能力上限，提供最领先模型；MaaS业务线构建高效开放的模型服务平台和技术体系；千问事业部负责打造个人AI助手，比如千问App等C端应用；悟空事业部将模型能力融入企业工作流，打造B端AI原生工作平台，主要由钉钉负责；AI创新事业部则是探索各类AI创新应用，快速验证新模式、新市场。

　　该部门涵盖了从基础模型研发，到模型服务平台，再到模型应用全产业链，与Token直接相关。这一全新的部门，由吴泳铭直接负责。

　　记者了解到，阿里巴巴高层已达成共识，未来的云服务将高度依赖AI智能体，类似于OpenClaw的AI智能体将带动Token消耗量的飞速增长，“Token经济”将迎来大爆发。

Coding Plan每月价格从几十元到几百元不等

　　这一判断并非阿里巴巴独有，事实上，各大AI厂商正在抓紧推出Coding Plan（编程套餐），通过编程这一刚需的Token消耗场景，增加开发者和AI从业者的使用黏性。

　　目前，无论是阿里巴巴、字节跳动、百度、腾讯等科技巨头，还是MiniMax、智谱等AI原生企业都推出了自有的Coding Plan，并接入了多款国产开源大模型，帮助开发者实现“模型自由+工具自由+Token自由”。

（文章来源：上观新闻）