字符集

从博多码

到 ascii

再到 iso-8859 系列

各自割据

如何把世界上各种字符统进行编码

unicode顺势而生不断进化

不过字符总量超过了65536

每个汉字都有位置

所有汉字里面第一个汉字是什么呢？

第一个字就是一

一切本是混沌

河出图洛出书

一划开天

分出阴阳

一生二

太极生两仪

unicode把一放在中文第一个

感受先人创建文明之源

分在几个 blocks 里面

F、B都是16进制的数字就像1、2、3一样

这个范围就是中日韩(CJK)字符的范围

最常用的在0x4E00-0x9FBF

也属于 2个字节 以内

字符数量也很多

不过由于汉字数量太多

原来给的空间不够用了

又给CJK分配了几个扩展空间

Extension

我们 对比一下

原来 \x表示法 和 \u表示法

原来ascii字符a可以用\x61表示

\x61 对应十六进制的(61)十六进制

占用一个字节

使用\x进行转义

现在unicode字符一可以用\u4e00表示

\u4e00 对应十六进制的(4e00)十六进制

占用两个字节

使用\u进行转义

ascii 字符也能用 \u 的方式进行转义

\u必须得4位16进制数

不过这样有点浪费空间和带宽

序号、字节状态和字符是什么关系呢？

序号、字节状态和字符

这三个东西也构成一个闭环

就像ascii一样

我们现在再看一下ord和chr的帮助

ord将字符的unicode编码转化为单字字符串

chr 将[0,0x10ffff] 转化为unicode 单字字符串

序号是unicode的序号

在[0,127]范围内

ascii 和 unicode 重合

unicode 兼容 ascii

unicode 形成了主流 之后

会吸取周围的小支流

类似的还有办公文档的标准

dos时代之后

微软推出了字体处理软件

win3.1的年代

金山在wps的基础上推出了盘古系统

win95之后

图形用户界面都基于微软的api进行开发

微软自身也有office系列

客观上

微软也就制定了办公软件的标准

微软office系列

wps、中文之星只能按照去兼容它的格式

形成了 主流 之后

失去了定义标准的可能

规则一旦形成

就会对后来的事物产生影响

其实汉字

也有自己的一套归类规则

可以按照发音来归类

甚至可以生成语音...

还可以进一步归类吗？

押韵助手

https://yayun.la/

可以用来找到押韵词汇

字典用的是拼音排序

按照声母的顺序

大辙按的是韵母

这样就可以更方便找相同韵母的汉字了

大辙对应十八韵一发花十八韵的一麻二梭波十八韵的二波三歌三乜斜十八韵的四皆四衣欺十八韵的五支、六儿、七齐五灰堆十八韵的八微六怀来十八韵的九开七姑苏十八韵的十姑八衣欺十八韵的十一鱼九由求十八韵的十二侯十遥条十八韵的十三豪十一言前十八韵的十四寒十二人臣十八韵的十五痕十三汪洋十八韵的十六唐十四中东十八韵的十七庚和十八东

四、八其实可以合成一道大辙

如果要双押

就得找词组韵母一致的

其实都可以把所有的词归类

然后制作一个押韵神器

很多各种各样的发音

进行分类

也被所谓的韵

词是由字组成的

词是如何编码进入计算机的呢？

两个汉字的unicode编码

占用四个字节

已知汉字，得到 unicode 值，叫做编码

过程为 encode

已知 unicode 值，得到汉字，叫做解码

过程为 decode

把 str 字符串 encode 编码 为 bytes 字节序列

把 bytes 字节序列 decode 解码 为 str 字符串

编码和解码是互为逆运算的

绕了一圈又回来了

😁

ascii 得到字符串的unicode编码状态

eval 得到编码的字符串状态

这两个也是逆运算

好像也可以然绕一个圈

eval应该如何理解呢？

help(eval)

eval

意思是evaluate衡量

是一个内置的函数

在__builtins__这个module里面

根据全局变量和局部变量的值进行衡量

按unicode形式的编码好的字符串

这里衡量的是

实际编码的时候是按照什么排序的呢？

禾木字旁的放到一起

按照偏旁的次序排列

其实偏门的汉字很多的

偏门的汉字

形成了 小众火星文

在火星文转化器中

特嘚孓麥波斯嘚

༺༒妳ィ是俄棏翄艕ོ

嬡莪芣湜沵哋措

團萇，莪苁泚僦湜摋骉特哋亾孒，嬡沵呦。

洳淉嬡，埥堔嬡。

如果爱，请深爱

团长，我从此就是杀马特的人了，爱你呦

爱我不是你的错

你是我的翅膀

today is my birthday

这真的有点亚文化

也会晕吧？！

用这个问人工智能

其实火星文就是把常用汉字序号

文字转化就是找到序号的映射

和不常用的汉字的序号

对应了起来

也是一种 加密方法

学出来也是一头雾水

你用这语料进行深度学习

中文字符可以有各种分类方法

实际上unicode的排序方法

合辙押韵的分类

拼音检字法

声母

韵母

偏旁部首

我们以前勇闯地下城时候获得了一把屠龙宝刀

给他镶上了❤️宝石

这宝石应该如何理解？

我们下次再说！👋

蓝桥->https://www.lanqiao.cn/courses/3584

github->https://github.com/overmind1980/oeasy-python-tutorial

gitee->https://gitee.com/overmind1980/oeasypython