1.本发明涉及计算机视觉技术领域，壁画辨成具体而言，超分成像涉及一种壁画超分辨成像模型构建、像模型构壁画超分辨成像方法和装置。建壁
背景技术：
2.壁画，画超和装特别是分辨方法古代壁画，保留了大量文化信息，壁画辨成例如，超分成像敦煌壁画是像模型构中国古代艺术的珍贵遗产之一，然而，建壁由于时间的画超和装流逝和自然环境的侵蚀，许多壁画面临着褪色、分辨方法剥落和损坏等问题，壁画辨成导致图像细节模糊、超分成像失真或遗失。像模型构为了保护和恢复这些宝贵的文化遗产，壁画修复和数字技术相结合成为一种重要的方法。
3.超分辨率图像恢复是一项关键技术，旨在通过使用计算机算法提高低分辨率图像的质量和细节，其可以通过插值和重建技术从低分辨率图像中恢复出更高分辨率的图像。在壁画修复中，超分辨率图像恢复技术可以帮助恢复壁画中细微的线条、纹理和颜色变化，使得修复后的图像更加清晰和真实。
4.目前有学者提出srgan以及esrgan，在基于低清图像构建超分辨图像的应用上具有一定效果，但始终无法有效解决其中存在的伪影问题，导致应用在壁画修复时，无法有效追求图像细节和纹理。
技术实现要素：
5.针对现有技术的不足，本发明提供一种壁画超分辨成像模型构建、壁画超分辨成像方法和装置。
6.第一方面，本发明提供了一种壁画超分辨成像模型构建方法，该方法包括如下步骤：
7.获取高清图像，其中，所述高清图像包括高清壁画图像；
8.对所述高清图像进行退化操作，获得对应的低清图像；
9.基于所述高清图像和所述低清图像对预设模型进行训练，获得壁画超分辨成像模型，其中，所述预设模型包括生成模块和鉴别模块，所述生成模块包括带有坐标注意力机制的密集残差块，以基于所述低清图像生成超分辨图像，所述鉴别模块用于对所述超分辨图像进行分类，将分类得到的不同图像区域以不同损失加权放入鉴别器中进行鉴别损失计算。
10.第二方面，本发明提供了一种壁画超分辨成像模型构建装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的壁画超分辨成像模型构建方法。
11.第三方面，本发明提供了一种壁画超分辨成像方法，该方法包括如下步骤：
12.获取壁画图像；
13.将所述壁画图像输入根据如上所述的壁画超分辨成像模型构建方法建立的壁画超分辨成像模型，获得超分辨壁画图像。
14.第四方面，本发明提供了一种壁画超分辨成像装置，该装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的壁画超分辨成像方法。
15.在本发明中，通过对包括特定图像的高清图像进行退化处理，获得对应的低清图像，在模型中，基于生成对抗网络提出优化，帮助模型注重位置关系，以提高性能。可通过带有坐标注意力机制的密集残差块进行特征提取，并获得超分辨图像，可通过例如方差计算等方式对超分辨图像不同区域进行分类，有效区分具有不同纹理的区域，并以不同权重由鉴别器进行损失计算，让网络在训练时更加注重纹理丰富区域，以减少伪影的存在。可以有效规避超分辨过程生成纹理会产生伪影的问题，进而可以在壁画超分辨修复中有效追求图像细节和纹理效果，获得更为理想的修复效果。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例的壁画超分辨成像模型构建方法的流程示意图；
18.图2为本发明实施例的生成模块的示意图；
19.图3为本发明实施例的带有坐标注意力机制的密集残差块的示意图；
20.图4为本发明实施例的协调注意力块的示意图；
21.图5为本发明实施例的鉴别模块的示意图；
22.图6为本发明实施例的进行退化操作的示意图；
23.图7为本发明实施例的壁画超分辨成像方法的流程示意图；
24.图8为本发明实施例的壁画修复前后的对比示意图。
具体实施方式
25.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
26.如图1所示，本发明实施例的一种壁画超分辨成像模型构建方法包括如下步骤：
27.获取高清图像，其中，所述高清图像包括高清壁画图像。
28.具体地，为了让模型学会如何将低清图像超分辨为高清图像，需要事先有配对的低清图像和高清图像，但是在正常情况下很难获取大量已经配对好了的低清图像和高清图像，所以通常会对高清图像进行退化操作。在实验中，可选取div2k数据集中的图像作为训练集，同时可以插入部分高清壁画图像，并可选择set5、set14、div2k100、urban100和general100五个数据集作为测试集。
29.对所述高清图像进行退化操作，获得对应的低清图像。
30.具体地，通过对高清图像进行退化操作，获得对应的低清图像，且高清图像和低清图像之间具有配对关系。另外，可以将低清图像裁剪为固定尺寸，例如128
×
128的图像。
31.基于所述高清图像和所述低清图像对预设模型进行训练，获得壁画超分辨成像模
型，其中，所述预设模型包括生成模块和鉴别模块，所述生成模块包括带有坐标注意力机制的密集残差块，以基于所述低清图像生成超分辨图像，所述鉴别模块用于对所述超分辨图像进行分类，将分类得到的不同图像区域以不同损失加权放入鉴别器中进行鉴别损失计算。
32.具体地，模型形式可视为生成对抗网络，其可分为生成模块和鉴别模块两个部分。可以采用生成模块中带有坐标注意力机制的密集残差块对低清图像进行特征提取，再进行上采样进行超分辨重建。再通过鉴别模块将超分辨图像的不同区域进行分类，并通过鉴别器进行鉴别损失计算，训练出最终模型。
33.更具体而言，对于图像来说，可以将其划分为不同区域，不同区域的纹理不同，即信息频率不同。对于草地、树叶这类看似含有高频信息的图像，由于信息的熵是混乱的，当对图像进行超分辨之后，信息的混乱依旧，人眼通常看不出区别，所以同样满足人眼需求。而对于像建筑等有具体规则纹理的图像，超分辨之后的图像纹理规则极有可能会被打乱，不满足人眼需求，故对于这类区域，便是超分辨的难点。
34.对于一般的超分辨模型，可能无法实现纹理的复现，因为图片退化后信息的缺失将导致超分辨之后也只是较为平滑的图像。生成对抗网络可以一定程度上解决这个问题，因为只有超分辨后的图像有规则的纹理，才越容易被鉴别器确认为真实的图像，所以生成对抗网络有助于纹理效果的超分辨。但是，尽管有纹理实现，机器仍无法判断纹理的存在是否合理，因此出现了伪影的问题，其中，伪影可以认为是超分辨在追求细节和纹理时所出现的错误的不符合常理的图像。
35.在本实施例中，通过对包括特定图像的高清图像进行退化处理，获得对应的低清图像，在模型中，基于生成对抗网络提出优化，帮助模型注重位置关系，以提高性能。可通过带有坐标注意力机制的密集残差块进行特征提取，并获得超分辨图像，可通过例如方差计算等方式对超分辨图像不同区域进行分类，有效区分具有不同纹理的区域，并以不同权重由鉴别器进行损失计算，让网络在训练时更加注重纹理丰富区域，以减少伪影的存在。可以有效规避超分辨过程生成纹理会产生伪影的问题，进而可以在壁画超分辨修复中有效追求图像细节和纹理效果，获得更为理想的修复效果。
36.可选地，所述生成模块包括：
37.第一卷积单元，用于对所述低清图像进行卷积操作；
38.所述带有坐标注意力机制的密集残差块，用于对经卷积操作的图像进行特征提取；
39.上采样单元，用于对经特征提取的图像进行上采样；
40.第二卷积单元，用于对经上采样的图像进行卷积操作，获得所述超分辨图像。
41.具体地，如图2所示，可首先将低清图像(lr)输入第一卷积单元(conv)进行卷积操作，再通过多个带有坐标注意力机制的密集残差块(ca rrdb block)对图像进行特征提取，并通过一个卷积单元(conv)进行卷积操作，然后由上采样单元(upsampling)进行上采样，部分第一卷积单元的输出也传输至上采样单元，最后经第二卷积单元(conv)进行卷积操作，第二卷积单元可以包括两个卷积层，以获得超分辨图像(sr)。
42.可选地，所述带有坐标注意力机制的密集残差块包括多个进行残差连接的密集残差块以及协调注意力块，所述协调注意力块的两端分别接入第一个所述密集残差块前端和
最后一个所述密集残差块后端。
43.具体地，如图3所示，一个带有坐标注意力机制的密集残差块可包括三个密集残差块(dense block 1，dense block 2，dense block 3)以及一个协调注意力块(coordinate attention block)。其中，每个密集残差块可包括四个卷积与lrelu的结合层(the combination of conv and lrelu)和一个lrelu层。各密集残差块进行残差连接，或者说跳跃连接，协调注意力块则接入第一个密集残差块前和第三个密集残差块后。另外，其中的bn层被替换为sn层，以实现训练的稳定。
44.示例性地，网络中可一共可包括23个带有坐标注意力机制的密集残差块。
45.可选地，所述协调注意力块用于：
46.将沿垂直方向和水平方向的输入特征聚合为两个独立的方向感知特征图；
47.将两个所述方向感知特征图分别编码为两个注意力图，其中，每个所述注意力图用于捕捉输入特征图沿空间方向的长距离相关性；
48.将两个所述注意力图相乘。
49.可选地，所述将沿垂直方向和水平方向的输入特征聚合为两个独立的方向感知特征图包括：
50.对于所述输入特征，用池化内核的两个空间范围沿着垂直坐标与水平坐标分别对各通道进行编码。
51.具体地，引入注意力机制，可以告诉模型更多关于图像中像素位置的信息。但是，普通的注意力机制如senet，只考虑了对通道间信息进行编码，却没有对位置的信息引起重视，这点对于捕获图像结构十分重要；而bam和cbam则利用位置信息来减小输入张量的信息维度，然后使用卷积计算空间注意力，但是卷积只能限制真实的局部关系，无法模拟长期依赖。
52.在本实施例中，如图4所示，协调注意力块的两端分别为残差(residual)和重新赋权重值(re-weight)，残差分别进行xavg pool和yavg pool操作，然后进行concat和conv2d操作，再进行batchnorm和non-linear操作，最后经conv2d和sigmoid操作至重新赋权重值。
53.首先使用两个1d全局池操作将沿垂直和水平方向的输入特征聚合为两个独立的方向感知特征图。然后，将这两个具有嵌入的方向特定信息的特征图编码为两个注意力图，每个注意力图捕捉输入特征图沿空间方向的长距离相关性，因此，可以在生成的注意力地图中预先提供位置信息。再通过乘法将两个注意力图应用于输入特征图，以强调兴趣的表示。
54.更具体而言，在坐标信息嵌入的第一部分中，为了激励注意力块捕捉空间中的远距离相互依赖，将全局池化分解为两个conv运算。
55.对于给定的输入，每个通道沿着水平和垂直坐标编码，具有池化内核的两个空间范围(h，1)或(1，w)。
56.分解为conv运算的方程如下：
[0057][0058]
其中，xc(i,j)表示在通道c在坐标(i,j)处的输入。
[0059]
表示通道c的高度h处的输出可以表示为：
[0060][0061]
表示通道c的宽度w处的输出可以表示为：
[0062][0063]
通过对上述两个方程的变换，可以得到两个方向感知特征图。这种转换有助于注意力块捕捉特定空间方向上的长距离依赖关系，并有助于网络更好的定位。
[0064]
在通过上述方程进行信息嵌入后，为了使用这样的信息，需要第二种类型的变换，即坐标注意力生成。
[0065]
在对上述方程的输出进行concat运算之后，1
×
1卷积变换函数f1用于获得：
[0066]
f＝δ(f1([zh,zw]))；
[0067]
其中，δ是非线性激活函数，f是在上部获得的方向感知特征图。
[0068]
两个1
×
1的卷积转化操作分别用于转化fh和fw为具有相同通道数的张量，具体方程如下：
[0069]gh
＝σ(fh(fh))；
[0070]gw
＝σ(fw(fw))；
[0071]
其中，σ是一个sigmoid函数，并且f的通道数以适量的速率减少，输出gh和gw分别扩展到注意力权重。
[0072]
协调注意力块的输出可以表示为：
[0073][0074]
其中，yc(i,j)是在通道c在坐标(i,j)处的输出，xc(i,j)是在通道c在坐标(i,j)处的输入，是在输入高度处的注意力权重，是在输入宽度处的注意力权重。
[0075]
在生成对抗网络中，生成模块为多个密集残差块的跳跃连接添加了协调注意机制，该网络能够更好地覆盖位置信息和信道关系，并增强网络表示。同时，当残差被添加到密集残差块中时，其将被乘以一个介于0和1之间的常数，以减少残差，从而确保训练的稳定性。
[0076]
可选地，所述鉴别模块包括：
[0077]
图像区域分类单元，用于将所述超分辨图像展开为多个块，计算每一个所述块的标准差，将所述标准差大于或等于预设阈值的所述块确定为纹理丰富区域，将所述标准差小于预设阈值的所述块确定为平滑区域；
[0078]
所述鉴别器，用于基于具有第一权重的所述纹理丰富区域以及具有第二权重的所述平滑区域计算损失，其中，所述第一权重大于所述第二权重。
[0079]
在超分辨领域中，大多数损失函数都是针对生成模块提出的，例如，从一开始的l1针对像素的mse损失，到针对视觉的感知损失等等，其中，不同的损失函数针对的是超分辨不同的指标。
[0080]
如上所述，现有的生成对抗网络普遍存在伪影的问题。
[0081]
由于图像的不同区域的信息频率是不同，可以利用信息频率不同的分类，对高频信息进行重点训练。
[0082]
在本实施例中，采用图像区域分类的思想，如图5所示，鉴别器可选用拥有强大鉴别能力的unet鉴别器(discriminator)，对不同区域的损失使用不同的权重进行计算。策略就是将生成模块输出的高分辨图像展开为k^2的块，然后计算每一个块的标准差，具体如下：
[0083][0084]
其中，m
i,j
表示各块的掩码(mask)，std(b
i,j
)表示各块的标准差，δ表示预设阈值。
[0085]
大于或等于阈值的部分可视为纹理丰富区域，或者说有规则区域，小于阈值的部分则认为是平滑区域，或者说纹理丰富但是混乱的区域。将超分辨结果分别与两部分相乘，便可得到经过分类的两幅图像。将两幅图像通过unet鉴别器，便可得到和超分辨图像大小一样的特征图。
[0086]
对图像进行了分类，就有必要对两个图像的特征进行不同处理，纹理丰富区域的特征图在计算鉴别器损失时取权重为1，平滑区域的特征图取鉴别器损失权重为0.2。通过减少平滑区域的损失权重，可以在生成对抗网络训练中让生成模块重点训练纹理丰富区域，既能保证图像有丰富的细节，也能减少伪影的存在。
[0087]
可选地，所述对所述高清图像进行退化操作，获得对应的低清图像包括：
[0088]
在所述高清图像中随机裁剪第一标定部分，在同样尺寸的标定低清图像中裁剪与所述第一标定部分对应的第二标定部分，将所述第二标定部分填充至所述高清图像的标定第一部分处。
[0089]
具体地，对于盲超分辨来说，图片的退化过程往往是通过一些固定的操作进行处理的。因为真实情况下想要获取成对的图片是非常困难的，作为替代，合成的图像被广泛应用。使用预定义的设计来对高清图像进行退化操作，如双边缘降采样，模糊核卷积，或者添加一定程度的噪声。
[0090]
但对于盲超分辨，测试图像的退化是未知的，这将很大程度地破坏超分辨模型在实际应用中的性能。以往大多数退化模型是确定的，只能超分辨某种特定的低清图像。所以应当让退化模型也受到一个分布的影响，应用概率来进行更好的建模。学习退化的过程可以用模糊核k和随机噪声n来表述一个线性函数。
[0091]
这种对于退化过程的随机处理，在广泛意义上来说更类似于是一种数据增强。数据增强是一种无需增加计算成本就能提高模型性能的最实用方法之一。但是对于底层视觉任务(图像修复或是超分辨)，数据增强的方法也很有限。
[0092]
在实施例中，可加入cutblur操作对图像进行退化处理。如图6所示，在高清图像(hr)中随机裁剪一部分图像，然后用放大到同样大小的低清图像(lr)，用相同位置的图像区域去补充到高清图像中，可将获得的裁剪图像(cutblur image)作为经退化操作获得的图像。
[0093]
为验证本发明模型的合理性与有效性，通过对比不同超分辨模型在不同数据集上的结果进行验证。
[0094]
该实验在nvidia特斯拉p100 gpu上进行，超分辨率为4倍。对于高清图像，首先执行剪切模糊数据增强操作。图像随机经历高斯模糊、噪声添加、下采样、jpeg压缩和其他操
作。批量大小设置为10。使用adam作为优化器，将训练分为两个阶段。第一阶段是面向psnr的非生成对抗网络训练，以l1损失为损失函数。学习率被初始化为2
×
10^-4。经过50000次迭代后，进行第二阶段的训练，并使用生成对抗网络进行训练，使模型能够生成更丰富合理的纹理。
[0095]
学习率为1
×
10^-4。在训练过程中，输入模型的图像大小被统一为128
×
128。生成对抗性网络的缺陷之一是训练非常不稳定。所以有必要让生成器和鉴别器进行对等的斗争，然后进行自我训练。如果没有第一阶段的训练，鉴别器将相对较强，更容易区分图像是否真实，因此很难更好地训练纹理丰富的区域。
[0096]
如表1所示，本发明模型(casrgan)与其他五个模型(srgan、esrgan、usrgan、spsr、real-esrgan)在常用的图像数据集上(set5、set14、div2k100、urban100、general100)进行超分并且进行比较。评价指标选择了lpips(学习感知图像块相似度)、dists(可微分图像显著性)、fid(特征向量间距离)、psnr(峰值信噪比)、ssim(结构相似性指数)。
[0097]
表1
[0098]
[0099][0100]
可以看到，本发明模型(casrgan)在大多数情况下都可以获得更好的结果。通过生成对抗网络的超分辨率结果的度量会更低，但本发明模型也可以在这一类别中获得最佳的评估结果。体现了该模型的性能优越性，这说明了本发明模型在壁画超分辨修复上具有一定的优势，可有效追求图像细节和纹理效果。
[0101]
在本发明另一实施例中，一种壁画超分辨成像模型构建装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的壁画超分辨成像模型构建方法。
[0102]
需要注意的是，该装置可以为服务器、移动终端等计算机装置。
[0103]
在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的壁画超分辨成像模型构建方法。
[0104]
如图7所示，本发明实施例的一种壁画超分辨成像方法包括如下步骤：
[0105]
获取壁画图像。
[0106]
具体地，可通过拍摄或扫描等方式获得原始壁画的图像副本，作为壁画图像输入。
[0107]
将所述壁画图像输入根据如上所述的壁画超分辨成像模型构建方法建立的壁画超分辨成像模型，获得超分辨壁画图像。
[0108]
具体地，在进行壁画超分辨成像时，可基于壁画超分辨成像模型获得更趋近于真实的图像细节与纹理。如图8所示，其中(a)、(b)、(c)、(d)四组图分别为不同壁画修复前后
的对比示意图，可以发现，原壁画图像的大部分因为氧化或者剥落而产生的杂乱的伪影已经被去除，一些模糊的地方也更加清晰。
[0109]
在本发明另一实施例中，一种壁画超分辨成像装置包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的壁画超分辨成像方法。
[0110]
需要注意的是，该装置可以为服务器、移动终端等计算机装置。
[0111]
在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的壁画超分辨成像方法。
[0112]
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0113]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。