空白符号也是计算的。
在阿里云百炼平台中,Token是用来衡量自然语言文本的基本单位,可以视作“字”或“词”。Token计算规则如下:
中文文本:1个Token通常对应1个汉字。例如,“你好,我是通义千问”会被转换为多个Token,每个汉字或词语视为一个Token。
英文文本:1个Token通常对应3至4个字母或1个单词。例如,“Nice to meet you.”会被划分为多个Token,每个单词或部分单词(如标点伴随的单词)为一个Token。
关于空白符号:
空白符号,如空格、逗号、句号等,在Token计数中是被计入的。例如,英文中的“Nice to meet you.”中,“to”与“meet”之间的空格也会作为一个分隔符处理,虽然它可能不会单独成为一个Token,但它影响了单词的划分,从而间接影响Token总数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。