一种基于空间拓扑约束网络的人脸解析方法

本发明属于计算机视觉领域，具体涉及计算机图像处理、深度学习等技术。

背景技术：

1、传统的人脸解析方法主要是使用手工制作的特征来对人脸结构建模，或者使用条件随机场(crf)与限制玻尔兹曼机(rbm)相结合，以提取局部和全局特征。这类方法通常计算过程复杂，难以推广到不同场景，无法获得健壮、丰富的特征，导致最后的人脸解析效果差，近年来，深度学习在图像分类、目标检测以及语义分割等诸多领域取得了巨大成功。相较于传统机器学习方法，深度学习具有更高的准确率和模型泛化能力。当前最先进的图像分割与解析算法的性能大多依赖深度学习方法实现的。

2、为此，本发明提出了一种基于空间拓扑约束网络的人脸解析方法。首先用resnet50对人脸图像进行特征提??；然后，发明了用于多尺度融合和特征增强的多阶段聚合全注意力?？?，实现了对卷积神经网络不同尺度特征进行融合，及全注意操作下的深度特征增强。之后发明了空间拓扑约束子网络，提取蕴含人脸各区域空间结构信息的类拓扑约束特征和边缘约束特征；最后使用解析解码子网络进行解析解码，预测人脸解析结果。本发明可以提高人脸图像解析的准确率，实现对人脸器官及感兴趣区域的自动、准确定位与分割，在解析精度上与现有人脸图像解析放法相比具有明显优势。

技术实现思路

1、本发明提出了一种基于空间拓扑约束网络的人脸图像解析方法。为了实现人脸图像的准确解析，本发明采用如下的技术方案：

2、本发明提出的人脸图像解析方法共包括人脸图像数据集构建、人脸图像网络模型设计与训练，以及人脸图像解析推理三个步骤。

3、步骤1：构建人脸数据集

4、人脸数据集用于训练本发明的人脸解析网络模型。构建数据集所需的人脸图像为采集的正脸图像样本。构建人脸数据集需要进行三类标签标注：人脸各器官及感兴趣区域像素级标签标注，得到人脸解析掩码图；边缘标签标注，得到人脸边缘二值图；类拓扑分布标签标注，得到类拓扑分布真实图。

5、步骤1.1：提取出人脸各个器官区域，为其分别标注类别标签。

6、步骤1.2：标出人脸器官的边缘位置。将人脸解析掩码图提取各区域轮廓，将该轮廓像素值置为1，非轮廓像素置为0，最终获生成人脸边缘二值图。

7、步骤1.3：生成人脸各个器官及感兴趣区域的类拓扑分布真实图。类拓扑分布真实图由人脸解析掩码图中的每个类别的整数标签进行独热编码，依据编码结果在水平和垂直方向上进行逐类别的累积，分别生成维度为w×n的水平类拓扑图和维度为h×n的垂直类拓扑图，其中h和w分别表示输入图像的高度和宽度，n表示类别数量。水平类拓扑图和垂直类拓扑图组成人脸类拓扑分布图。

8、步骤2：人脸解析网络模型设计与训练。

9、首先采用卷积神经网络resnet50作为基础网络提取特征，然后建立多尺度特征融合和特征增强的阶段聚合全注意力?？?，提升特征的表达能力，最后设计了空间拓扑约束子网络实现人脸的准确解析。包括子步骤如下：

10、步骤2.1：基于阶段聚合注意力?？榈奶卣魈崛∽油?。

11、采用resnet50卷积神经网络作为主干网络，将原始图像进行四次下采样，组成四种分辨率的输出特征图cn，n∈{1,2,3,4,5}，其中c1与c2分辨率相同。为了更有效的融合低层特征和高层特征，发明了阶段聚合注意力?？?。阶段聚合?？橛扇⒁饬δ？楹途砘？楣钩?，使用三个阶段全注意力来分别对四种不同尺度的输出特征图进行特征融合以及特征增强，三个阶段聚合注意力?？榈牟僮鞴倘缦拢?/p>

12、首先，阶段聚合注意力?？橹饕ü⒁饬δ？榻煌愕奶卣飨嗳诤?。cn经过卷积conv层、非线性激活层relu、批处理归一化bn层得到全注意力?？榈氖淙胩卣鱢in，再经过全注意力?？?，得到输出特征fout，再将fout与前一阶段特征pn+1的两倍上采样的特征进行逐元素相加，得到本阶段的输出特征pn。

13、其中，全注意力?？榻淙胩卣鱢in∈rc×h×w分别进行水平和垂直方向的globalaverage?pooling和linear操作，得到水平压缩特征和垂直压缩特征其中w和h是图像宽度和高度，c为特征图通道数量。然后通过横向复制c维和纵向复制c维的方式，得到水平全局特征gw∈rw×c×c和垂直全局特征gh∈rh×c×c。接着对水平和垂直全局特征进行softmax操作，得到水平全注意力图和垂直全注意力图。然后直接对输入特征fin进行矩阵转置，得到维度分别为rw×c×c和rh×c×c的矩阵。将水平全注意力图和垂直全注意力图分别与转置后的输入特征进行矩阵相乘，再将矩阵相乘后得到的特征进行逐元素相加，得到输出特征pout。经过全注意力操作后特征图的通道维度为256。

14、在此基础上，c5和c4作为第一个阶段聚合注意力?？榈氖淙胩卣?，聚合后得到特征图p4，然后p4和c3再作为第二阶段聚合注意力?？榈氖淙?，并获得特征图p3；再将p3与c2作为阶段聚合注意力?？榈氖淙牖竦玫奶卣魍紁2。

15、最终将高层深度特征的语义信息传到底层深度特征，形成了空间与语义信息丰富的深度特征。

16、步骤2.2：空间拓扑约束子网络

17、空间拓扑约束子网络由类拓扑约束分支和边缘约束分支构成。

18、步骤2.2.1类拓扑约束分支

19、类拓扑约束分支以特征提取子网络的输出特征p2作为输入，经过类拓扑约束?？榉直鹕纱怪蓖仄朔植纪紅v、水平拓扑分布图th和拓扑约束注意力图。

20、将p2分别经过水平平均池化得到水平特征fh，以及经过垂直平均池化得到垂直特征fv。随后将fh和fv分别通过卷积conv层，并使用批处理归一化bn层进行通道数缩减至c/2，获得特征kv和kh。其中，将kv和kh分别经过n个卷积conv层，其中n为解析类别数量，将通道数压缩到解析类别数量n，再进行sigmoid激活函数，生成垂直拓扑分布图tv和水平拓扑分布图th。两者构成类拓扑分布图。

21、拓扑约束注意力图则由如下方式获得：将kv和kh经分别经过卷积conv层生成引导特征ih和iv，记为：

22、ih＝σ(conv7×(conv3×(fh)))??(1)

23、iv＝σ(conv7×(conv3×(fv))))??(2)

24、其中，σ为sigmoid函数。引导特征ih涵盖了水平方向中每个类别的位置相关特征，而引导特征iv包括每个类别的垂直位置相关类别特征。而后，使用系数wh和wv对引导特征ih和iv进行加权，并将其逐元素求和生成拓扑约束注意力图at。得到at后，将p2特征与拓扑约束注意力图at进行矩阵相乘得到类拓扑约束特征图。再将类拓扑约束特征图进行卷积获得特征图1，至此类拓扑约束分支完成特征输出。

25、经过类拓扑约束分支可以更好地利用人脸特有的空间分布去捕捉人脸不同部位在垂直和水平维度上的差异，从而提高人脸解析的准确率。

26、步骤2.2.2边缘约束分支

27、边缘约束分支由边缘约束?？楹途砘僮髯槌?。边缘约束?？榻玶esnet50第二层和第三层特征图作为图像边缘约束?？榈氖淙胩卣?，首先对c2特征经过卷积conv层、批处理归一化bn和relu激活操作，然后再经过卷积层和bn操作且上采样成与c3相同尺度。同时c3特征经过卷积conv层、批处理归一化bn和relu激活操作，然后再进行卷积conv层和bn操作。之后将c2与c3特征进行特征融合，生成边缘约束特征图。最后，对边缘约束特征图经过卷积conv层，得到包含2个通道的边缘预测图。

28、步骤2.3：解析解码子网络

29、解析解码子网络由解码?？楹途砘僮髯槌?，其将最终的特征图映射到所需的解析掩模，此过程由交叉熵损失函数完成训练。解析解码?？榻玞2特征图和上采样后的特征图1分别经过卷积conv层和批处理归一化bn层，然后进行特征拼接，将拼接特征再经过卷积层conv和批处理归一化bn层，得到特征图2。再将特征图2与边缘约束特征进行拼接得到特征图3，并进行1×1卷积层得到最终的人脸解析结果。

30、步骤2.4：网络模型训练

31、使用联合损失函数对网络模型进行训练，联合损失函数包含三个部分，分别是人脸解析损失类拓扑约束损失边缘感知损失和边缘感知损失

32、

33、其中，人脸解析损失定义为：

34、

35、上式n表示人脸解析类别的数量，pn表示n通道的人脸解析掩码图的预测值，gn表示n通道的人脸解析掩码图的真值。(i,j)表示像素的空间二维坐标索引。

36、表示类拓扑约束损失，其定义为：

37、

38、上式中th是维度为w×n的水平拓扑分布图预测值，tv是维度为h×n的垂直拓扑分布图预测值，为th对应的水平类拓扑图真值，为tv对应的垂直类拓扑图真值。(i,j)表示元素的坐标索引。

39、为加权边缘感知损失，其定义为：

40、

41、其中为边缘二值图的预测值，是相应的边缘二值图的真值。

42、利用反向传播算法在联合损失函数下对人脸数据集进行网络训练，得到人脸图像解析模型参数。

43、步骤3：人脸图像推理

44、给定人脸图像，将其输入到由步骤2训练得到的网络模型中，计算网络输出，得到人脸解析结果。

45、与现有技术相比，本发明具有以下明显的优势和有益效果：首先，通过阶段聚合注意力?？橛行У卮铀衅渌ǖ劳家约跋喙氐目占湮恢弥谢袢√卣飨煊?，更好地融合深度特征的高层和低层信息，并且增强特征表达能力；通过空间拓扑约束网络生成人脸每个类区域的空间分布以及边缘分布，有效地提高了边界语义识别能力和处理难以区分的类别以及遮挡能力；通过解析解码子网络，在联合损失函数下预测得到精细化人脸解析结果。本发明方法对有人脸遮挡、赘生物等异常情况，解析结果更为鲁棒，且人脸不同区域的边缘定位准确性更高。