下你所需,载你所想!
汇集开发技术源码资料

利用StreamTokenizer统计文件的字符数

:7.027KB :1 :2021-12-18 18:12:00

部分简介

利用StreamTokenizer统计文件的字符数如果开发者对于本文件有需要的可以参考,要统计文件的字符数,不能简单地统计Token数,因为字符数不等于Token,按照Token的规定,引号中的内容就算是10页也算是一个Token。

如果希望引号和引号中的内容都算作Token,应该通过StreamTokenizer的ordinaryCha方法将单引号和双引号当做普通字符处理。

热门推荐

相关文章