（专业论文预印版，未经许可不得转载，侵权必究）

1948 年，现代信息论创始人之一的香农Shannon，提出了香农熵(Shannon entropy)的概念，因为与信息相关，所以也经常被通俗称为信息熵，一般用符号 H 表示。其数学公式表达如下：

根据上面的香农公式，可以得出的如下结论：

根据上面的香农公式，可以得出的如下结论：

香农本人根据这个公式对英文字符做了测算，在不考虑马尔科夫链因素的前提下，得出英文的单位符号平均所承载的信息量≈1.3bit[[[] Shannon《Prediction and entropy of printed English》[J] Bell Syst. Tech. J. 1951, 30, 50–64.]]

根据前文所述，现代汉字体系的字素已经超过1800个（声符+意符+记号），与国际主流文字相比，汉字的字素（符号）的数目非常庞大，加之汉字字素普遍存在一符多义的情况（如上面举例的‘本笨体’），因此根据上面的香农信息熵公式，如果不考虑文字系统各符号出现的概率分布差异，汉字系统的熵值远远高于英文。

刘源给出汉字熵值的计算结果是9 .71比特[[[]

孙帆，孙茂松基于《人民日报》的11, 978,549字语料库作为实验数据集，通过建模与平衡测试样本集之间的交叉熵，得到基于字符而直接计算出的一阶熵、二阶熵与三阶熵分别是：9 .62、7.15、6.65 bit[[[]

【注：阶位越高的熵值，越能反映文字系统的真实信息熵值。】

显而易见，零阶香农熵并不能真正体现人类自然语言的复杂性。

有鉴于此，国家语言文字工作委员会专家冯志伟先生提出极限熵的概念，即加入考虑文字字符串的马尔科夫链因素影响，最大限度地逼近阶位的无限值而观测信息熵值特[[[]

半个多世纪以来，国际上的信息学学者根据香农公式提出了多次升级优化方案。近年来，随着大数据科学的迅猛发展，国际上的学者提出一种基于语料数据库取样容量的大数据机器语言统计分析方法。

因为本文主旨不是讨论数学原理，因此不展开讨论，本文仅限于提供近年来国际上的学者对国际上几大主流语言所做的测算对比结果列于下，作为本文探讨“最优化文字系统设计”的参考资料如下[[[]

大数据算法优化版信息熵的测算结果Results based on large Scale Random Document Data（最右边一列是三阶熵值f3 计算值偏差Error10^-2）

由上表可看出：

1）汉字的信息熵明显高于拼音文字，同时繁体字> 简体字 > 汉语拼音

2）如果考虑到现代简化字所对应的文本与繁体字所对应的文本在语义上几乎没有差异，因此上表中二者的熵值差异或许是取样偏差所导致的。同时说明一个很重要的现象，即繁体字与简化字信息熵大致相同，但是繁体字的笔画是简化字的很多倍，因此，汉字笔画的简化与优化是非常有必要的。

3）汉语拼音的信息熵尽管远低于简化字以及繁体字，但是众所周知，汉语拼音完全无法区分大量的同音字，因此说明汉语拼音方案非常不可行，完全不能体现汉语作为二维声调语所具有的高效表意优点。

4）汉字体系尽管因为熵值过高让系统具有更多的系统混乱度，但是汉字的单位字符的信息承载量也是大大高于拼音文字的，因此提示我们，只要对现行的汉字系统予以优化，即可达到既可保留高信息承载量的优点，同时还可以降低文字的混乱度，从而达到汉字规范易学高效表达的目的。

（更新中.....）

【作者简介】