载体独立的深度光照水印算法

陈浩，王锋，张卫明，俞能海

载体独立的深度光照水印算法

陈浩1,2，王锋1,2，张卫明1,2，俞能海1,2

（1. 中国科学技术大学网络空间安全学院，安徽 合肥 230001；2. 中国科学技术大学中国科学院电磁空间信息重点实验室，安徽 合肥 230001）

随着多媒体技术的发展与完善，数字产品的版权保护需求逐步增大。数字水印是一种保护数字产品版权的有效手段，它一般是通过在数字载体（如文本、图像等）中添加重要标识信息（即数字水印），使载体带有标识信息，但又不影响载体的正常使用。常见的数字水印嵌入方案是通过采用特定算法对载体进行修改来嵌入水印信息的。而在实际的应用场景中，有很多待保护的图像或物件（如艺术画作等）是不允许修改的。基于此背景，提出了一种新的载体独立的深度光照水印算法，在嵌入端通过可见光调制的方法来表达水印信息，从而实现在不对原始载体进行修改的前提下进行水印信息嵌入，并达到版权保护的目的。通过对人眼视觉系统进行分析，提出了基于交替式投影的水印模板图案来嵌入水印信息，使嵌入过程既不需要对原始载体进行修改，也不会影响人眼的视觉感官。而在提取端，设计了基于残差连接的水印提取网络，对采集的水印图像经透视变换后送入该网络来进行水印信息提取。实验在多种条件下进行，并与3种基准算法进行了对比。实验结果表明，所提算法生成的水印图像具有较小的视觉失真，且对“投影−拍摄”过程具有很强的鲁棒性。在不同距离、角度、光照等条件下，水印提取网络具有很高的水印信息提取准确率，且相比其他通用网络具有一定的优越性。

数字水印；人眼视觉系统；光照水印；深度神经网络

0 引言

网络技术的快速发展加快了图像、音视频等数字产品的传播效率，但同时引起了非法复制的版权纠纷问题。因此，在这些环境中数字产品的产权保护成为紧迫问题，而应用于数字图像产权保护的数字水印技术被广泛研究[1-12]。数字水印技术一般是通过对数字载体进行修改，实现水印信息的嵌入。而为了实现对不同传输信道失真的鲁棒性，往往会有不同的嵌入方式。但这些方案的共同缺点在于嵌入过程本身需要对载体进行修改。当面临无法修改载体的水印需求时，这些方案的用处往往受限。例如，当需要保护博物馆中的艺术画作时，无法对艺术画作本身进行修改，实现一种与载体独立的数字水印方案尤为重要。

本文着眼于“载体独立”的应用需求，旨在提供一种无须修改载体的数字水印方案来保护数字媒体的版权，即基于光照水印的技术[13-21]。光照水印指的是将含水印信息的光照投射到目标区域，当有光照的载体被相机拍摄时，能从采集到的图像中提取出嵌入的水印信息。该方法通常用一些特殊设计的光照模式表示水印信息，并将这些模式投射到目标图像上，实现水印的嵌入过程。而在提取端，通过一定的图像处理过程，将投影的水印模式从拍摄的图像中提取出来，从而实现水印信息解码。

理想的光照水印应该同时满足3个特性：高视觉质量、高嵌入效率和传输鲁棒性。对于视觉质量的需求，光照投影的前后不应有明显的视觉失真，要达到足够的透明性。而嵌入效率的需求指的是水印嵌入端应尽可能地避免过多的计算，从而满足高效的嵌入过程。传输鲁棒性指的是对算法解码端的要求，水印在嵌入过后还经过了投影−拍摄信道，需要保证在经历了失真后仍然能够进行提取。

传统的光照水印方案主要是基于频域信息变换来实现的，不能同时满足上述3个特性。手机拍摄信道较为复杂，传统的图像处理操作不能很好地模拟传输信道的失真，这导致如果想要得到较高的提取准确率，就得保证较大的嵌入强度，但这样又会引起较差的视觉质量。因此，算法的关键在于如何更好地兼顾视觉质量和传输鲁棒性。

为了满足视觉质量的需求，本文设计了一种基于人眼视觉模型（HVS，human visual system）的水印嵌入方案，当以较高的频率观察颜色互补的彩色区域时，人眼会出现视觉疲劳，在大脑中自动对彩色区域进行加工，使整体区域看起来趋于一致。因此，本文设计了一种基于颜色分解的新编码方案，该方案通过创建两个互补颜色的水印图案来编码“0/1”比特。为了从错综复杂的信道失真中恢复出嵌入的水印信号，本文选择使用深度神经网络作为水印的提取端。利用深度学习强大的特征提取能力，通过卷积神经网络的输出分析水印模板类别，从而实现消息的准确提取。

为了展示所提方法的有效性和优越性，本文在不同的拍摄环境（如不同的距离、不同角度和不同光照强度）下进行了大量的实验。实验结果表明，该方法在保证视觉质量的同时，始终可以实现出色的鲁棒性。

综上所述，本文的主要贡献有以下3个方面。

1) 提出了一种基于深度学习的光照水印方案，该方案能有效地实现载体无关的水印嵌入过程，并应用于艺术作品的版权保护。

2) 结合BCH（Bose-Chaudhuri-Hocquenghem）编码，设计了一种高效的水印叠加嵌入方案，并设计了基于深度神经网络的提取方案，两者结合能有效地兼顾水印的鲁棒性与透明性。

3) 大量实验表明，本文提出的算法在鲁棒性和视觉质量上优于已有算法。

1 相关工作

其中

此后，Ishikawa[16]等提出不同的光照水印模板，利用沃尔什−哈达玛变换（WHT，Walsh- Hadmard transform）反变换生成对应的水印空域模板，如式(5)所示。

其中，wh(,)表示沃尔什−哈达玛矩阵分量。

Uehira[17]等提出了视觉质量更好、水印提取误码率更低的色差调制方案。在频域模板经过DCT反变换后并没有直接进行投射，而是将变换后的图像当作YCbCr色彩空间中的Cb通道，与固定数值的Y、Cr通道组合后变换成RGB图像，最后通过投影仪投射到目标图像上。

前述方法仅考虑提取信息的准确性，这使嵌入的视觉质量较差，而降低嵌入强度时，频域的嵌入方式又不能很好地抵抗拍照失真，无法满足光照水印的需求。

2 基于深度学习的光照水印方法

光照水印系统框架如图1所示，该框架包含两个部分（水印嵌入过程和水印提取过程），左上方为水印信息编码排布过程，右侧为水印提取网络，其主要结构为ResNet残差网络。首先使用BCH[22]编码和循环冗余校验[23]（CRC，cyclical redundancy check）对消息序列进行编码，然后对编码后的消息序列重新排列以生成要嵌入的消息矩阵。根据消息矩阵生成光照模板并对光源进行调制，最后照射到目标图像上。在提取方面，首先对拍摄图像进行透视变换矫正，然后将矫正的图像输入残差神经网络进行提取以恢复消息矩阵，之后对提取的消息矩阵进行BCH解码和CRC校验。若未检测到CRC错误，则为最终消息序列。若出现CRC错误，则重新选择消息序列并进行相同的解码过程，直到未检测到错误或尝试了所有组合。

图1 光照水印系统框架

Figure 1 Optical watermarking system framework

2.1 消息矩阵生成

2.2 基于叠加的水印嵌入

Figure 2 Watermark pattern generation process

其中

由于只对单通道进行调制，所以不同数据生成的块色度差距会很小，这样“0/1”比特对应模板图案之间的差距几乎不可见，反映到透射光源中也几乎与普通单色光没有差别。当使用足够频率的光源交替播放互补水印图案时，嵌入的水印图像很难被人类视觉系统察觉到，同时它可以很容易地被神经网络提取出来。

2.3 水印提取

当使用手机拍摄含水印的图像时，水印图像随着图像载体本身被手机的摄像头记录下来。而在拍摄过程中，由于拍摄角度不同，图像会产生不同的透视畸变，所以在水印提取之前，需要对失真图像进行透视变换。透视变换公式为

2.4 信息解码

图3 水印提取网络

3 实验与分析

从拍摄图像数据中裁剪出比周围区域更亮的水印嵌入区域，将裁减区域修正成大小为512×512像素的正方形后切割成16×16个图像块，每块大小为32×32像素。100张图片共切割成25 600个图像块，即25 600个二进制水印数据，随机选择其中90%（23 040块）作为神经网络的训练集，剩余10%作为验证集。选择与本文算法最相关的DCTCode[15]、WHTCode[16]、Color-Difference[17]这3种水印算法作为对比算法。

3.1 视觉质量比较

为了衡量嵌入水印图像的视觉质量，采用平均主观意见分（MOS）来进行测试。具体来说，为每种光照水印嵌入方案准备16幅随机图像，然后要求50位观察者从1（视觉质量差）到5（视觉质量好）进行打分。从表1中可以发现本文所提算法的MOS远高于其他算法。图4展示了视觉质量的对比效果。

图4 视觉质量的对比效果

Figure 4 Visual quality comparison

表1 不同算法视觉质量比较

从图5可以看出，对比算法的效果图中可以清晰地看到一些水印图案形成的条纹，非常影响视觉效果。而本文算法充分利用人眼视觉的特性，将原本互补的水印图案进行抵消，从而达到更好的视觉效果。

3.2 鲁棒性测试

为了测试算法在不同拍摄条件下的鲁棒性，在不同的光照强度、拍摄距离、拍摄角度以及JPEG质量因子的前提下进行了拍照和提取实验。同时，在相同条件下将提取出的水印与原始水印进行误码率计算，得到的实验结果如表2～表5所示。

对于光照强度实验，本文选择的光照强度为50～200 cd/m2（坎德拉/平方米），其中，数值越大，代表光照强度越强。将不同强度的光照射在载体图片中，再使用手机拍摄后进行提取水印，不同光照强度下的误码率如表2所示。由表2可知，随着光照强度的增强，算法的误码率逐渐降低，在光照强度为200 cd/m2时误码率仅有3.24%，且对于50～200 cd/m2的光照强度，算法的误码率均小于10%。这意味着提取出的水印能被纠错码进行纠错。与此同时，在相同的光照强度下，本文算法相比其他算法有明显的优势。对于不同拍摄距离下的实验，本文选择的距离为30～70 cm。由表3可知，随着拍摄距离增加，其他算法的误码率明显上升，本文所提算法虽然也有上升，但仍在10%以内，性能优势显而易见。

表2 不同光照强度下的误码率

表3 不同拍摄距离下的误码率

对于拍摄角度实验，本文选择在目标图片中心的上、下、左、右以15°、30°、40°的角度进行拍摄。不同拍摄角度下的误码率如表4所示，在各个方向上都是角度越大，误码率越高，且本文算法误码率均低于其他算法。其中，拍摄角度大于15°时误码率上升明显，一方面是由于水印模板失真严重，另一方面是提取网络没有以大角度拍摄下的数据集进行训练。因此要使其对大角度拍摄更加鲁棒，还需添加更多样的训练数据集。

表4 不同拍摄角度下的误码率

表5 不同JPEG压缩质量因子下的误码率

3.3 提取网络比较

为了凸显本文提取网络的优势，对本文网络和现存流行的分类网络（GoogLeNet[27]、MobileNet[28]、LeNet[29]、PNASNet[30]、VGGNet[31]、EfficientNet[32]、DenseNet[33]、DPN[34]）进行了提取实验，并进行对比。为了公平比较，对所有网络结构用相同的数据集进行训练，得到的水印信息提取误码率如表6所示。

表6 不同网络下水印信息提取误码率

由表6可知，本文提出的提取网络误码率低于其他网络，由于残差网络的跳连结构能很好地保证特征的连续性，本文的提取网络能有效提取出设计模板的特征。

5 结束语

本文提出了一种新的载体独立的深度光照水印算法，以满足载体无关条件下的水印嵌入和提取过程，从而能有效保护如博物馆艺术画作等载体的版权。出于对HVS的研究和嵌入效率的考虑，本文提出了一种基于空域叠加的水印表达和嵌入方案。利用光照模板表达水印信息投影到图片上实现水印的嵌入过程。在提取端，为了抵抗拍摄过程产生的失真，本文设计了基于残差模块的神经网络来进行模板的分类，即消息的提取。实验表明，所提算法比现存的流行算法有较高的鲁棒性，且在水印的不可见性上有较大的优势。

[1] COX I J, KILIAN J, LEIGHTON F T, et al. Secure spread spectrum watermarking for multimedia[J]. IEEE Transactions on Image Processing, 1997, 6(12): 1673-1687.

[2] SWANSON M D, KOBAYASHI M, TEWFIK A H. Multimedia data-embedding and watermarking technologies[J]. Proceedings of the IEEE, 1998, 86(6): 1064-1087.

[3] HARTUNG F, KUTTER M. Multimedia watermarking techniques[J]. Proceedings of the IEEE, 1999, 87(7): 1079-1107.

[4] LANGELAAR G C, SETYAWAN I, LAGENDIJK R L. Watermarking digital image and video data. A state-of-the-art overview[J]. IEEE Signal Processing Magazine, 2000, 17(5): 20-46.

[5] LIU Z. New trends and challenges in digital watermarking technology: applications for printed materials[M]//Multimedia Watermarking Techniques and Applications. Auerbach Publications. 2006: 257-305.

[6] HAITSMA J, KALKER T. A watermarking scheme for digital cinema[C]//Proceedings of Proceedings 2001 International Conference on Image Processing (Cat. No.01CH37205). 2001: 487-489.

[7] Digital Cinema Initiatives. Digital Cinema System specificationv1.2[R]. 2008.

[8] 常玉红, 黄惠芬, 王志红. 检测图像篡改的脆弱水印技术[J]. 网络与信息安全学报, 2017, 3(7): 47-52.

CHANG Y H, HUANG H F, WANG Z H. Fragile watermarking technique for detecting image[J]. Chinese Journal of Network and Information Security, 2017, 3(7): 47-52.

[9] 刘文星, 陈伟, 刘渊. 图像四叉树剖分下的自适应数字水印算法[J].网络与信息安全学报, 2017, 3(12): 40-47.

LIU W X, CHEN W, LIU Y. Adaptive digital watermarking algorithm under image quad-tree partition[J]. Chinese Journal of Network and Information Security, 2017, 3(12): 40-47.

[10] 王志红, 黄惠芬, 常玉红. 基于SVD分解和Hadamard变换的图像半脆弱水印技术[J]. 网络与信息安全学报, 2017, 3(5): 26-31.

WANG Z H, HUANG H F, CHANG Y H. Semi-fragile watermarking technology based on SVD decomposition and Hadamard transform[J]. Chinese Journal of Network and Information Security, 2017, 3(5): 26-31.

[11] GOHSHI S, NAKAMURA H, ITO H, et al. A new watermark surviving after re-shooting the images displayed on a screen[C]// Knowledge-Based Intelligent Information and Engineering Systems, 2005: 1099-1107.

[12] OKIHARA K, INAZUMI Y, KINOSHITA H. A watermarking method that improves the relationship between of the number of embedded bits and image degradation[J]. The Journal of the Institute of Image Information and Television Engineers, 2004, 58(10): 1465-1467.

[13] UEHIRA K, SUZUKI K, IKEDA H. Does optoelectronic watermark technology migrate into business and industry in the near Future? Applications of optoelectronic watermarking technology to new business and industry systems utilizing flat-panel displays and smart devices[J]. IEEE Transactions on Industry Applications, 2016, 52(1): 511-520.

[14] UEHIRA K, SUZUKI K, IKEDA H. Applications of optoelectronic watermarking technique to new business and industry systems utilizing flat-panel displays and smart devices[C]//Proceedings of 2014 IEEE Industry Application Society Annual Meeting. 2014: 1-9.

[15] UEHIRA K, SUZUKI M. Digital watermarking technique using brightness-modulated light[C]//Proceedings of 2008 IEEE International Conference on Multimedia and Expo. 2008: 257-260.

[16] ISHIKAWA Y, UEHIRA K, YANAKA K. Practical evaluation of illumination watermarking technique using orthogonal transforms[J]. Journal of Display Technology, 2010, 6(9): 351-358.

[17] UEHIRA K, UNNO H. Effects of JPEG compression on reading optical watermarking embedded by using color-difference modulation[J]. Journal of Computer and Communications, 2018, 6(1): 56-64.

[18] OSHITA K, UNNO H, UEHIRA K. Optically written watermarking technology using temporally and spatially luminance-modulated light[J]. Electronic Imaging, 2016, 28(8): 1-6.

[19] UNNO H, UEHIRA K. Lighting technique for attaching invisible information onto real objects using temporally and spatially color-intensity modulated light[J]. IEEE Transactions on Industry Applications, 2020, 56(6): 7202-7207.

[20] UNNO H, YAMKUM R, BUNPORN C, et al. A new displaying technology for information hiding using temporally brightness modulated pattern[J]. IEEE Transactions on Industry Applications, 2017, 53(1): 596-601.

[21] UNNO H, UEHIRA K. Display technique for embedding information in real object images using temporally and spatially luminance-modulated light[J]. IEEE Transactions on Industry Applications, 2017, 53(6): 5966-5971.

[22] BOSE R C, RAY-CHAUDHURI D K. On a class of error correcting binary group codes[J]. Information and Control, 1960, 3(1): 68-79.

[23] PETERSON W W, BROWN D T. Cyclic codes for error detection[J]. Proceedings of the IRE, 1961, 49(1): 228-235.

[24] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

[25] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context[C]//Computer Vision – ECCV 2014. 2014: 740-755.

[26] The USC-SIPI Image Database[EB].

[27] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.

[28] YANG T J, CHEN Y H, SZE V. Designing energy-efficient convolutional neural networks using energy-aware pruning[C]//Pro- ceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017 : 6071-6079.

[29] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[30] LIU C, ZOPH B, NEUMANN M. Progressive neural architecture search[J]. Computer Vision and Pattern Recognition, 2017.

[31] SIMONYAN K, ZISSERMAN A. Very Deep convolutional networks for large-scale visual recognition[J]. Computer Vision and Pattern Recognition, 2014.

[32] TAN M, LE Q. EfficientNet: rethinking model scaling for convolutional neural networks[C]// ICML. 2019.

[33] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017: 2261-2269.

[34] GALLA T. Theory of neural information processing systems[J]. Journal of Physics A, 2006, 39: 3849.

Carrier-independent deepopticalwatermarking algorithm

CHEN Hao1,2, WANG Feng1,2, ZHANG Weiming1,2, YU Nenghai1,2

1. School of Cyber Science and Technology, University of Science and Technology of China, Hefei 230001, China 2. CAS Key Laboratory of Electromagnetic Space Information, University of Science and Technology of China, Hefei 230001, China

With the development of multimedia techniques, the demand for copyright protection of digital products has also gradually risen. Digital watermarking is an effective means to protect the copyright of digital products. It is generally made by adding important identification information (i.e., digital watermark) to a digital carrier (e.g., text, image, etc.), so that the carrier carries the identification information but does not affect the normal use of the carrier. The common digital watermark embedding scheme is to embed the watermark information by modifying the carrier via specific algorithms. In the actual application scenarios, there are many images or objects to be protected (such as art paintings, etc.) that are not allowed to be modified. Based on this background, a new carrier-independent deep optical watermarking algorithm was proposed, which can realize watermark information embedding without modifying the original carrier and achieve the purpose of copyright protection. Specifically, a new watermark template expression scheme at the embedding end was proposed, which expressed the watermark information by visible light modulation. By analyzing the visual system of human eyes, a watermark template pattern based on alternating projection was proposed to embed the watermark information, which made the embedding process neither require modification of the original carrier nor affect the visual senses of human eyes. At the extraction end, a watermark extraction network based on residual connection was designed, and the captured watermarked images were fed into this network after perspective transformation to extract the watermark information. The experiments were conducted under various conditions and comparisons with three baseline algorithms were made. The experimental results show that the proposed algorithm generates watermarked images with less visual distortion and is robust to the "projecting-shooting" process. The watermark extraction network has high accuracy in extracting watermark information at different distances, angles and illumination conditions, and has certain advantages over other general networks.

digital watermarking, human visual system, optical watermarking, deep neural network

The National Natural Science Foundation of China(U20B2047, 62121002)

陈浩, 王峰, 张卫明, 等. 载体独立的深度光照水印算法[J]. 网络与信息安全学报, 2022, 8(4): 110-118.

TP309.2

A

10.11959/j.issn.2096−109x.2022056

陈浩（1993− ），男，辽宁本溪人，中国科学技术大学硕士生，主要研究方向为信息隐藏。

王锋（1996− ），男，安徽潜山人，中国科学技术大学硕士生，主要研究方向为数字水印和深度学习。

张卫明（1976− ），男，河北定州人，博士，中国科学技术大学教授、博士生导师，主要研究方向为信息隐藏、密码学、媒体内容安全和人工智能安全。

俞能海（1964− ），男，安徽无为人，博士，中国科学技术大学教授、博士生导师，主要研究方向为图像视频处理与分析、计算机视觉与模式识别、信息隐藏与媒体内容安全、信息检索与数据挖掘。

2022−02−08；

2022−05−19

俞能海，ynh@ustc.edu.cn

国家自然科学基金(U20B2047, 62121002)

CHEN H, WANG F, ZHANG W M, et al. Carrier-independent deep optical watermarking algorithm[J]. Chinese Journal of Network and Information Security, 2022, 8(4): 110-118.