融合人工智能图像特征的知识图谱表示学习研究

顾亚丽,曾志宏

(1.漳州职业技术学院 电子信息学院,福建 漳州 363000;2.龙岩学院 数学与信息工程学院,福建 龙岩 361000)

0 引言

人工智能在现实世界中扮演着十分重要的角色,通过人工智能技术进行语音交互,可以利用语音程序进行拼写、语法更正以及信息搜索等.在自然语言处理程序的使用中,许多研究者努力提高智能机器人学习语言的能力,生成了多种识别和问答技术,在多年的应用和发展进程中,已经形成了大量的语料库,由此产生了对应的知识图谱[1].知识图谱就是智能应用中的知识库,可以将知识信息从半结构或者非结构化的数据中进行提取和储存,在信息检索和问答系统中具有广泛的应用.将知识图谱看作为一个实体描述的三元组集,在不同的组集中记录多种数据信息,用来表示现实世界中的抽象概念.工程师通过手动构建方法,利用自然语言及时描述知识图谱,在自动构建的基础上对自然语言模块不断训练,以此对数据文本进行目标识别.知识图谱的质量很大程度上取决于构图机制,在领域专家中手动构成的图谱具有较高质量,但存在成本高和扩展性差等问题,并且随着信息量的不断增加,上述问题更加明显.在更大规模知识库公开的前提下,其中包含大量的不同实体和关系事实,由于数据体积的不断变化,在数据与语言任务的对应关系下,会存在不完整构建的可能性.为保证知识图谱的正确性和完整性,本文选择融合人工智能图像的特征技术,设计知识图谱的表示方法,为知识图谱的有效构建提供理论支持.

1 最大似然值理论定义知识图谱实体

l(g1,g2,…,ge|q1,q2,…,qe),

(1)

(2)

其中:text表示文本中包含的所有单词,|y|表示单词个数;mentions表示文本中所有存在链接的实体组合集合,|t|表示可链接数据的数量[3].将知识图谱按照三元组表示为p=(a,s,d,f),其中:

(3)

其中:a代表知识图谱实体集合,共含有|a|个不同实体,并且实体在知识图谱中存在唯一指代;s表示图谱中的属性关系,包含有|s|种不同关系,由映射实体关系和映射字面量的属性关系构成;d表示字面量集合,存在有实体的可能属性、特征和参数;f表示知识图谱中所有三元组集合.

(4)

其中:j表示多模态知识表示方法;k表示知识图谱的实体映射函数;sim表示相似性计算函数,可以评估可链接数据在知识图谱实体的特征相似程度.实体命名是利用数据文本从知识图谱,以字符串相似度为召回依据,预先召回一批实体作为候选实体库,再将文本和图像输入至多模量链接中得到对应的实体.

(5)

其中:新的输出标记表示为g′[4];可学习的转移方程表示为Ωw(·);转移方法中的参数为z.将选择概率最大的序列作为标记序列,利用条件最大似然值对实体识别命名任务进行估计,其表达式为:

(6)

在给定的文本信息中让数据对应的单词,通过实体链接模量将这些数据链接到知识图谱的实体上,以此来解决实体的命名问题.

2 残差网络提取知识图谱局部特征

在知识图谱的命名任务中为了准确识别目标信息,需要对其特殊的特征进行提取,为避免数据集合中的重读处理,选择残差网络算法和目标检测算法相结合的形式对数据的特征进行局部抽取[5-6].两种算法进行结合,将数据分为多个模块,形成一个堆积的残差学习单元结构.设置某一个残差单元为x,与之对应的学习特征为c(x),则该单元可以学习到的残差表示为:

v(x)=c(x)-x,

(7)

其中:v(x)为学习到的残差.当残差c(x)=0时堆积层在输入特征中仅做恒等映射,残差单元学习结构如图1所示.

图1 残差单元学习结构

由图1可知,在残差学习过程中需要设定学习规则,但由于残差一般为较小数据,学习的难度就小很多,学习的内容也相对较少.残差单元可表示为:

(8)

其中:xb+1为第b个残差单元输出结果;v为残差函数;c(xb)=xo表示恒等映射关系;m为规则nb的激活函数;残差结构的浅层表示为b-1,深层表示为o-1;从b-1到o-1的学习特征为xo.

残差网络既可以简化学习过程又可以增强梯度传播,打破结构模型的不对称性,以此提高知识图谱的泛化能力.在残差网络的优化过程中,参考数据的转化优势对知识图谱的局部特征提取,以卷积网络的结构层级设置特征输出维度,参数设置如表1所列[7].

表1 特征输出维度与参数设定

图2 知识图谱表示学习的卷积层

对特征提取时需要保证数据真实度,建立对应的损失函数为:

(9)

其中:Q(W)表示损失函数;W表示数据.在特征提取时会通过目标属性分类来确定,而函数值由概率值决定,其计算公式为:

(10)

式中:ER为函数概率;ECLS表示特征分类的代价函数概率;ELOC表示特征边界的代价函数概率[8];R表示提取特征时存在的背景,分为[background]和[foreground]两种形式;β表示平衡参数,本文中将其设定为β=0.1、β=0.25、β=0.5、β=0.75、β=1.0共5个类型,分别对应网络5个卷积层,以此提取知识图谱中的局部特征.

3 融合人工智能图像特征实现知识图谱表示

在上文提取局部特征的基础上描述知识图谱实体信息,给出相对应表示符号,设实体和关系集合为V和B,将一个三元组表示为(Z,X,C),存在以下关系:

(11)

按照不同的表示形式:以结构化设定ZX为实体头部、CX实体尾部;以实体概念描述头部和尾部表示为ZN和CN[9].对实体的向量文本进行描述,公式为:

(12)

其中:M表示实体的向量描述文本;SA表示第A个句子的向量;D表示转化参数.大多数实体在不同场景中会有多种图像表现形式,因此需要确定最佳的图像表示结果.设计每个实体图像均融合智能图像特征,并从图像中提取信息特征,将多个图像数据联合起来.多个实例下构造实体的图像聚合过程为:

(13)

(14)

I=Iα+Iη+Iγ,

(15)

其中:函数I由3组能量函数组成,Iα为基于结构表示的函数;Iη为基于图像表示的能量函数;Iγ为基于描述表示的能量函数.为保证表示函数的能量发挥在同一向量空间,对Iη和Iγ进行定义,公式为:

(16)

(17)

其中:TX表示投影矩阵.通过关系融合将相类似的实体进行表示,利用能量函数对三元组进行优化分析,实现知识图谱的表示学习全过程,至此完成融合人工智能图像特征的知识图谱表示学习设计,最终的可视化知识图谱结构如图3所示.

图3 知识图谱表示学习的卷积层

4 实验测试分析

4.1 实验环境

该实验采用Windows 10系统,512 G固态硬盘,32 GB内存容量,英特尔酷睿 i9-13900H的CPU,NVIDIA GeForce RTX4090显卡.实验过程软件为Matlab,方法训练基于PyTorch框架,采用Adam优化器算法提高网络收敛速度,本文方法迭代训练500次,每100次更新学习率,初始学习率设置为0.001.

4.2 实验数据集

为论证本文方法的实用性,将实体图像信息和实体类别信息与知识图谱三元组联合学习,以目前存在的FB5K数据集为测试对象,该数据集只包含实体图像信息和三元组信息,需要对FB5K数据集扩充,补充所需要的实体信息类别FB5K-Q,原数据集情况如表2所列.

表2 原数据集情况

知识图谱数据集FB5K的三元组是数据集FB5K的子集,所以对于该集合的类别信息直接通过FREEBASE进行收集,具体情况如表3所列.

表3 数据集合FB5K-Q扩充情况

由表3可知, 此次FB5K-Q数据集含有实体关系和实体个体,并针对数据集给定训练、验证以及测试集.扩充数据集的过程也称为知识图谱的补全任务,是对知识表示学习领域性能的基础评估任务,也是知识推理的基础任务之一.对于知识图谱中的三元组,若给定出缺失的某个个体或者关系时,可以通过模型学习到的知识表示剩余的三元组项目正确推理出缺失的一项,实现知识的推理.根据预测对象的不同,将知识推理分为实体预测任务和关系预测任务两个部分,完成下文的测试验证.

4.3 实验指标

为验证融合人工智能图像特征的知识图谱表示方法的有效性,选择TRANSE、IKRL、CONV-KB和CONVE作为待预测模型,并分别为上述模型加入本文表示学习方法再进行预测实验,确保测试的公平性,选择模型中的一个模型进行训练,并确保每个模型的知识向量维度值都相同.对知识推理预测设定评价指标,具体内容如下:

(1)“MEAN-RANK”指标.表示所有测试样本中正确结果在预测结果中的平均排名,可以反映知识图谱表示学习模型的整体性能;

(2)“HITS@10”指标.表示正确预测的实体和关系,排名前10名结果的出现概率反映知识图谱表示学习模型的实用性.

为更精细地分析两个指标的评价结果,在每个指标中在设定“RAW”和“FILTER”两个二级指标,更加客观和准确地对知识图谱表示学习模型进行评估,具体流程如图4所示.

图4 知识推理预测实验流程

上文中设定知识图谱三元组为实体缺失状态,在知识推理测试过程中,对于每个测试集中的每个测试样本需要进行实体替换,即对于测试集中的每个测试样本,均隐藏其实体和尾部实体.通过训练集对预测模型进行练习,并利用训练中的实体和相关向量,对测试集中的三元组进行数据推理实验,并重点研究实体模型的结果.

4.4 实验结果分析

将TRANSE[A]、IKRL[A]、CONV-KB[A]和CONVE[A]分别表示为TRANSE、IKRL、CONV-KB和CONVE模型增加表示学习后的模型.对待预测的模型进行训练,结果如图5所示.

(a)“MEAN-RANK”指标

由图5可知,每一个测试模型在融合新方法后实体预测的各项指标评估均有所提高,主要是因为增加图像特征的筛选后能够获取更多信息实体表示形式,促使模型能够捕捉到更丰富的实体特征,更好地挖掘实体之间的联系,从而对模型知识图谱的表示能力有了一定的提升.证明本文方法具有很好的鲁棒性,可以应用在多个不同的知识表示模型中.

5 结语

本文以人工智能图像特征为基础,分析了多个技术的优势,针对知识表示模型存在的问题,设计了新的表示方法,并在不同的模型中论证了新方法的应用效果.由于本次时间有限,在知识图谱表示中存在不足之处,如对外部信息的真实度未进行查证,后续研究中解决信息与图谱中是否存在矛盾问题,以此保证知识图谱的完善.