本人最近在做KBQA相关的的工作，有些大致的了解和想法后希望能够在实验中学习更多。

目前研究的KBQA 暂时专注在简单知识库问答上：即根据一个问题，抽出一条三元组，生成Sparql语句，进而进行知识图谱查询返回答案。

最终选择了NLPCC2016KBQA数据集，基线模型采用BERT。

NLPCC全称自然语言处理与中文计算会议（The Conference on Natural Language Processing and Chinese Computing）,它是由中国计算机学会（CCF）主办的 CCF 中文信息技术专业委员会年度学术会议，专注于自然语言处理及中文计算领域的学术和应用创新。

此次使用的数据集来自NLPCC ICCPOL 2016 KBQA 任务集，其包含 14 609 个问答对的训练集和包含 9 870 个问答对的测试集。 并提供一个知识库，包含 6 502 738 个实体、 587 875 个属性以及 43 063 796 个 三元组。知识库文件中每行存储一个事实( fact) ，即三元组 ( 实体、属性、属性值) 。各文件统计如下：

知识库样例如下所示：

原数据中本只有问答对（question-answer），并无标注三元组（triple)，本人所用问答对数据来自该比赛第一名的预处理https://github.com/huangxiangzhou/NLPCC2016KBQA。构造Triple的方法为从知识库中反向查找答案，根据问题过滤实体，最终筛选得到，也会存在少量噪音数据。该Triple之后用于构建实体识别和属性选择等任务的数据集。

问答对样例如下所示：

以“贝拉克·奥巴马”为例，涉及该实体的问答对如下：

在知识库中查询包含该实体的三元组，结果如下（部分）：

首先，知识库中存在“贝拉克·奥巴马”的多条实体，有可能是多数据来源的融合或其他原因，从而并不能完全保证信息的对齐。我们查看“妻子”这一属性，发现有的是“米歇尔·拉沃恩·奥巴马”有的是“米歇尔·奥巴马”，而我们问答对中给出的答案是“米歇尔·奥巴马”。因此当我们的模型检索到正确三元组时：

虽然在实体和属性都映射正确的情况下，最终答案仍可能被判定为错误。

以“博士来拜”为例，涉及该实体的问答对如下：

在知识库中查询包含该实体的三元组，结果如下（部分）：

问句中的问题是：“博士来拜是什么年代的作品？“，涉及到”年代“这个属性，而这幅作品被不同时期的很多人创作过，我们无法从当前问句下得到要询问的是哪位艺术家的创作年代。因此该问题的涉及的实体具有歧义性，同样的，当模型检索到我们认为的正确实体和正确属性后，依然有可能会被判定为错误答案。

在具有4300W条三元组的知识库中，同一个实体会检索出大量（几十、几百条）的相关三元组，而且在存在上述两个歧义性问题的情况下，识别的效果和效率都是很大的问题。

以上的两个问题在实体识别实验部分和属性抽取部分的影响较小，但在实体链接知识库检索最终答案三元组的部分会有较大的影响。

过滤属性，去除‘-’，‘•’，空格等噪音符号；

同时把每一行lower()转成小写。

分别保存为：train_clean.csv, test_clean.csv, nlpcc-iccpol-2016-clean.kbqa.kb

原始训练集数量为14609，Shuffle后抽出2609作为开发集，其余作为训练集，如下。

分别保存为：train_clean.csv, dev_clean.csv, test_clean.csv

构造实体识别数据集需要根据三元组-Enitity反向标注问题，给Question打标签。由于我们希望从单问题中抽取单个实体，并未采用BIO的标注，直接采用0/1标注法，即0表示非实体，1表示实体。

同时需要确保其实体完整出现在问题中，对于未出现的样例，我们直接删除忽略。错误样例如下所示：

过滤后的数据集信息如下：

过滤后的数据集样例如下所示：

分别保存为：entity_train.csv, entity_dev.csv, entity_test.csv

基于BERT+BiLSTM+CRF模型的实验结果如下所示，其中accuracy是从9556个问句识别出完全匹配实体的准确率。

未完全匹配的实体样例如下，部分是识别错误，部分是同义词，部分是噪音问题

1、构造测试集的整体属性集合，提取+去重，获得4373个属性RelationList

2、一个sample由“问题+属性+Label”构成，原始数据中的属性值置为1

3、从RelationList中随机抽取五个属性作为Negative Samples

数据集大小如下：

数据集samples如下：

分别保存为：relation_train.csv, relation_dev.csv, relation_test.csv

基于BERT的训练结果如下所示

模型没有识别出的测试样例如下，可以看出缺少深度语义匹配的能力。

完成实体识别模型和属性抽取模型后还需检索模型进行知识库检索，才算完整的KBQA。

由于知识库数据量庞大，而且需要多次检索知识库，因此需要建立索引提高效率。

而同一实体的三元组分布在知识库中不同位置，因此需要对每个实体记录多个始末片段。

最终通过遍历知识库，记录每个实体的名称、开始位置、结束位置，记录结果如下：

总数为650 5059，保存为index.csv

通过训练好的实体识别模型，识别测试集中的问题，输出所有mentions，保存为testset_predict_answer.txt。数量为9870，如下所示

将上述9870个mention，进行知识库检索，寻找符合以下规则的三元组：

此时，每个测试集中的question都有检索得到的候选三元组

把question+relation放入之前训练好的属性抽取模型

对每个三元组打分，排序，输出topK个答案

整个KBQA完成！

以上内容为KBQA的整体流程，从这个过程中加深了对KBQA的理解和认识。