在AI天下里，大师会频频碰到“token”这个词，那末，token是甚么意义？怎样读呢？token的中文名叫词元，是模子处置信息的最小计量单元。上面小力就带大师一路来领会“token”究竟是甚么？为甚么AI的天下里离不开它？ Token在AI中的寄义是甚么？ 在AI的天下里，Token是模子处置信息的最小计量单元，不管是用户的发问，仍是AI天生的一段代码，终究都要被拆解成Token来实现运算。正因如斯，Token挪用量成为权衡AI模子活泼度和财产代价的关头目标，Token挪用量越高，意味模子被用得越多，缔造的现实代价也就越大。  Token怎样读？ Token的英式发音：[ˈtəʊkən] Token的美式发音：[ˈtoʊkən] Token的汉语意义 1、令牌：经常使用于计较机范畴，指代身份考证或拜候节制的凭据。比方："登录时需要输出静态令牌"。 2、代币：多用于区块链/加密货泉场景。比方："这个平台刊行了本身的数字代币"。 3、词元：在说话学/NLP中指文本处置的最小单元。比方："这个句子被朋分成7个标记"。 4、意味物：作为意味的小物件。比方："这枚戒指是咱们友情的意味物"。 5、礼券：贸易场景中的兑换凭据。比方："购物满赠咖啡礼券"  在详细换算上，差别说话的Token数目有所差别。凡是，一个汉字约即是1到2个Token，而一个英文单词约即是1个Token，标点标记也零丁计较。比方，中文句子“明天气候很好。”约莫会被拆分为7个Token，而一样的英文句子则会天生约6个Token。是以，抒发不异的意义，中文耗损的Token常常比英文多30%至50%。 Token（词元）怎样收费？ Token大抵分为几个层次：最自制的是收费层，高吞吐但呼应慢，首要靠告白变现；往上是中级层，约莫每百万Token收20元；再往上是高等层，每百万Token收40元；再往上是高速层，每百万Token300元；最贵的是超高速层，每百万Token1000元。固然，价钱是跟着市场变更而变更的。  token为甚么很主要？ 大白了Token是甚么，还要清晰“Token”为甚么如斯主要。 Token之以是主要是由于：Token的“三重身份”让它不只是AI的“根本说话”，并且正在成为AI天下的“硬通货”。 1、本钱单元 谁耗损Token，谁就要付费，这是Token最间接的身份。 就像你用水要交船脚，用电要交电费一样，将来你用AI，实质上便是在耗损Token，就要为Token付费。 2、效力单元 将来谁出产Token更快更省，谁就有合作力，便是说，将来权衡一个数据中间的焦点目标，不是看它的存储容量、算力巨细，而是看它“每秒能出产几多Token”。 这就比如两个木工，一样的木料和东西，一个能做出5块板子，另外一个只能做出一块板子，明显前者的“出产效力”更高。 3、AI时期的“新货泉” 此刻科技公司的工程师，任务几近离不开AI、Agent。而每次挪用AI，都耗损Token，而Token是要费钱。因而，就会有公司给员工的薪酬变成：人为+词元也便是，token = 数字人为。 |
