Foreword
针对Knowledge-based QA问题,一般从问题和答案中抽取关键实体,对这些实体构建图,并在图上进行路径推理从而得到正确答案,GNN 在图上的信息传播过程相当于在图上找路径,这些路径可以解释答案得到的推理步骤。但是复杂的图结构是否是推理所必须的?作者根据模型剪枝的结果发现现有模型的结构太过复杂,实际上一维的图节点就可以完成KGQA任务。 
分析
传统的模型使用预训练模型作为encoder,得到问题中的实体、答案的表示;而后使用知识图谱中显式的知识,从知识图谱中抽取问题相关的子图。接下来将节点表示、边的表示作为输入,过几层GNN后输出最终结果。 作者在这一baseline上使用Sparse Variational Dropout (SparseVD) 进行模型剪枝,具体来说就是寻找GNN各层中对结果没有影响的权重。作者在多个不同的模型上进行实验,结果显示,除了边的embedding之外,节点embedding、节点初始化对最终的结果影响都不大。

GSC
对于上面模型pruning的结果,作者设计了一套简化的GNN,将节点和边都变为1维,直接进行加减作为message passing;而实验结果表明这一简化版的GNN取得了非常好的效果。这个简化版的GNN-GSC主要是两个部分,包括边的encoder和Message passing。前面的实验证明了边的重要性,因此使用2层mlp输出最终为1维的Edge- embedding,作为边的重要性,而1维的message passing只是数值加减,所以可以看作一个计数器。设计的具体模型可以参考下图 