Wikipedia中文语料库链接： wikidata

页面里面是不同时间段的数据，本人选择的是20221001目录下的文件。

接下来就是要下载好的bz2文件转成txt格式的。

此处，我先尝试了下使用gensim下的Corpus工具转码，但是失败了，报了如下错误，也没尝试去修改，先记录下来吧。有空子阿来看看。

我的思路：bz2→json→TXT

下载工具：https://github.com/attardi/wikiextractor 解压后，在当前目录下进入python控制器（或者控制器进入该目录，都行），我是直接用的anaconda的控制台，没有的请自行百度。 输入如下命令：

安装好工具后，输入如下的命令

-o：该参数表示输出的目录 –process：表示进程数 -b：表示生成的单个文件的大小（默认值为1M） –json：表示生成文件的格式，不使用该参数的话，生成的文件格式是xml []：实操的时候，[]部分换成自己的路径即可

命令没有问题的话，幸运的情况下会看见如下界面

但是，这并不代表就能成功转换。实操过程中，在下就很不幸的出现了一个新的bug

带着BUG去Git上查issues，有人给的回答如下：

意思就是，Windows下会有这个问题，Ubuntu系统不会。 无奈，我就是在Windows下操作的。只好在Ubuntu系统下重来一遍了。ε=(´ο｀*)))唉。 很可惜，Linux系统下依旧出现了bug

幸运的是也有人和我遇到了同样的问题

解决方案：

修改extract.py文件内容，将下面两行代码注释掉

然后再从新安装一遍。

终于搞定了。

幸运的情况下，会走到这一步。

最后，自行保存为txt文件就可以了。 致此，已经完成了wiki数据转TXT的工作。有需要的话还可以将wiki中的繁体转成简体。具体方法见python借助OpenCC实现中文繁体转简体