基于Android的人眼不可见标记隐私保护机制

李 栋 郭丹浩 韩伟力

(复旦大学软件学院 上海 201203)

0 引 言

随着摄像头在智能手机上越来越普及，拍照变得越来越方便。2014年，全球卖出了18亿个摄像头，其中95%被嵌入到智能手机中[2]。在20亿智能手机用户中，92%的用户会使用智能手机来拍照，80%的用户习惯于将他们的照片发布到网上[3]。根据来自InfoTrends的数据[4]，2017年会有1.3万亿张照片被拍摄。到2017年，将近80%的照片是由智能手机拍摄的。同时，具有持续感知能力的可穿戴设备的发展也促成了目前的现状。

越来越多的照片使人们开始担心他们的隐私。技术的发展使得计算机可以精确地进行人脸检测和识别。在公共场合，路人通常在毫不知情的情况被旅游者拍摄下来。这有可能暴露路人的个人隐私，这将是一个严重的隐私访问控制问题。另外，值得一提的是，需要访问控制的对象不仅仅是人，还有其他包含敏感信息的对象，例如版权保护的绘画，甚至是军事设施。

近年来，这类隐私问题在系统安全领域受到高度重视。一个可行的解决方案是抹去照片中的敏感信息。Google地图支持一种新型的地图形式——Street View，由用户和卫星拍摄的照片组成。在发布这些照片之前，其中所有可识别的人脸都会被抹去。但是，大部分情况会更加复杂，例如，一张照片中的每个对象都需要选择不同的隐私保护策略。所以，简单地过滤掉所有隐私是不可行的。当一名旅游者在城市广场中拍照时，他想要用照片保存下他的肖像，但路人却需要保护他们的隐私。所以在这种复杂的情况下，所有相关对象都要参与到隐私访问控制模型中。

面对这种新的访问控制挑战，Roesner等[1]提出World-Driven Access Control (WDAC) 框架，这个框架要求所有相关对象都指明他们的隐私策略。二维码、蓝牙信号和超声波是WDAC原型系统中的隐私声明标记。应放天等[5]也提供了三种隐私标记：用摄像头检测的可见光，用红外传感器检测的红外光和用RF接收器检测的无线信号。但以上六种标记都存在局限性。一方面，给对象贴上二维码或者装上可见光源都会直接影响对象的外观。隐私标记对人眼可见是不合适的，因为向一个不想要拍照的人展示隐私标记是很不友好的。另一方面，无线信号、红外光、蓝牙信号和超声波都依赖额外的传感器。其中一个缺点是无法保证移动设备配备了额外的传感器，另一个缺点是一旦引入了额外的传感器，那么就需要申请额外的权限，这有可能引起更严重的隐私泄露。WDAC中提到，这些标记的另一个缺点是无法精确地指出照片中哪一块区域需要隐私保护。隐私和隐私标记必须不可分离，也就是说隐私标记必须出现在照片中，必须可以被摄像头识别。此外，隐私标记又需要对人眼不可见。这样，隐私保护方案的应用场景才能更广泛。

与以上方案不同，本文提出使用人眼不可见的近红外光作为隐私标记，而且近红外光不需要额外的传感器来感知，可以直接被摄像头识别。我们的目的是给对象提供一种声明其隐私策略并保护其隐私的方案。我们设计实现的方案由对象可穿戴的近红外光标记和嵌入到系统中的隐私保护组件 (PPM) 组成。由于近红外光的物理特性，近红外光标记对人眼是完全不可见的，但可以被摄像头识别。一旦摄像头识别到隐私标记，相应的隐私策略就会被执行，这样摄像头应用程序得到的就是经过隐私策略处理的照片。考虑到系统的完整性，PPM必须可以从摄像头捕获所有带有隐私标记的照片。因此，我们在摄像头硬件层与应用程序层之间的系统层实现PPM。我们首先基于Android实现了原型系统。实验结果表明，我们的方案可以有效保护对象的隐私。

本文的主要贡献如下：

• 我们进行了有关近红外光物理特性的实验，包括人眼和摄像头对近红外光谱的识别能力，以此证实使用近红外光作为不可见隐私标记的可行性。

• 根据对四种不同智能手机的摄像头的实验结果，我们发现了近红外光在摄像头中的成像规律。在分析了近红外光像素的RGB值后，我们训练了一个基于反向传播(BP)神经网络的分类器并使用此分类器从照片中识别出近红外光标记。

• 我们基于Android 4.2.2实现了不可见标记隐私保护系统。系统中的PPM监视所有来自摄像头驱动的照片数据。一旦PPM检测到隐私标记，就会在照片被存储或展示给用户之前执行相应的隐私策略。

1 相关工作

目前有大量的研究者从事隐私保护的研究。其中的一些模型利用设备与用户之间的交互来执行访问控制以达到隐私保护的目的。WDAC[1]是由Roesner等提出的交互访问控制模型，该模型基于所有隐私相关对象来执行隐私策略。这个模型让被拍摄的对象通过passport指明他们的隐私策略。可信策略组件从passport中检测策略并改变对象的展现形式以实现隐私的访问控制。WDAC提供了三种passport：二维码、蓝牙信号和超声波。Cheng等[10]也提出了一种类似于WDAC的面向摄像头感知的访问控制模型。他们提出了一种用于管控社交网络上照片分享的协议。

当设备与外界的交互被加入到访问控制模型中时，交互的媒介在传递隐私策略方面扮演着重要的角色。摄像头访问控制所用到的媒介有二维码[10]、可见光[5]、着色的帽子和衣物[11]。射频识别[12]、蓝牙、超声波和红外光[5]也被用来传递隐私策略。和以上工作不同，本文创新性地提出使用近红外光作为媒介，近红外光对人眼不可见且可以被摄像头识别。

2 背景知识

人眼的感光范围在390 nm到760 nm之间[6]。随着光线波长的增加，其能量会减少。当波长大于700 nm时，能量减少速率大大加快。因此，人眼对波长大于760 nm的光线是极度不敏感的[6-7]。对此，我们可以认为人眼对波长大于800 nm的光线是不可见的。摄像头的感光范围取决于成像传感器的材料。成像传感器的主要材料是硅，硅对电磁波的感知范围为800 nm到1 150 nm[8]。所以，波长在800 nm到1 150 nm之间的光线(属于近红外光)是人眼不可见但可以被摄像头识别的。

3 系统设计

人眼不可见标记隐私保护机制的设计分为两部分。第一部分是近红外光标记，另一部分是PPM。

3.1 动机和场景

假设Alice去参加Bob举办的聚会，Bob是Alice竞争公司的职员。为了记录下难忘的瞬间，Bob想要给所有的客人拍照，并分享到社交网络上。但是，Alice并不希望她的同事知道她参加了这个聚会。考虑到Bob很难在每一张照片中都避开Alice，这时Alice可以戴上我们设计的不可见标记。因为这个标记人眼不可见但可以被摄像头识别，周围的人不会意识到标记的存在，而Bob的摄像头可以识别到标记并自动把Alice从照片中抹去。如此，Alice的隐私就受到了保护。

3.2 系统框架

近红外光标记是一个波长在800 nm到1 150 nm之间的光源。戴上标记，对象就可以向摄像头声明他的隐私策略。PPM嵌入到移动设备的系统中，当摄像头拍摄到包含近红外光标记的照片时，PPM执行标记声明的隐私策略。在我们的设计中，PPM由三部分组成：对象检测模块，近红外光检测模块和隐私擦除模块。

隐私保护机制的流程如图1所示。

图1 隐私保护组件的图像处理过程

1) 对象检测模块检测PPM拦截的图像中的所有对象，并用对象区域进行标记。然后把带有对象区域的图像数据传送给近红外光检测模块。

2) 近红外光检测模块检测每个对象区域周围是否存在近红外光隐私标记。如果在一个对象区域附近检测到了近红外光隐私标记，标记声明的隐私策略和相应的保护区域会被传送到隐私擦除模块。

3) 隐私擦除模块在保护区域执行隐私策略。隐私策略可以包含不同的措施，例如图像模糊，RGB移除。

4) 在擦除保护区域后，隐私擦除模块会将最终的图像传送给应用程序。应用程序最终得到的图像是不含隐私数据的。

3.3 可行性验证实验

当摄像头中的成像传感器检测到光波时，它将光波转换成电信号。然后电信号会被转换成RGB值。在可见光范围内，光在人眼中和摄像头中的成像颜色是一样的。但是，当光的波长超过了人眼可见范围时，情况就有所不同。所以我们需要找到近红外光的成像规律以证实使用近红外光作为隐私标记的可行性。

因为颜色对应关系只适用于可见光，所以很难理论推导出近红外光的成像颜色。所以我们根据实验提取近红外光的成像颜色特征。我们使用不同的移动设备进行实验，包括佳能60D、酷派智能手机、HTC智能手机和Google Nexus 4。实验中的近红外光波长取800 nm和1 150 nm的中值。我们让近红外光直射摄像头进行拍摄。对于每一种摄像头，我们分析所有拍摄到近红外光的照片并找出所有由近红外光成像的像素。然后我们计算这些像素的平均RGB值，结果如表1所示。我们观察发现，在这些设备的摄像头中近红外光的成像颜色极为相似并呈现为粉色。这个实验证明了近红外光成像规律的存在。在系统实现中，我们使用分类器以更加精确地识别近红外光。

表1 各设备的近红外光成像平均RGB值

4 系统实现

正如引言中所提到的，80%的照片是由智能手机拍摄的[2]。目前Android系统在智能手机市场中市场份额最大[13]，所以我们基于Android实现原型系统。由于人脸是照片中最敏感的信息，我们的原型系统实现了肖像隐私保护。

4.1 近红外光标记

原型系统中的近红外光标记使用940 nm的光源。考虑到摄像头不总是正面拍摄近红外光标记，我们给标记加上了散射角。这样，即使摄像头从侧面拍摄对象，近红外光标记也可以被摄像头识别。近红外光标记是一个直径53 mm的电路板，上面焊接着48个波长940 nm的光源，所以标记是可穿戴的。标记的散射角为60度。对象只需要将标记戴在帽子上就可以声明他们的隐私策略。作为原型系统，我们只为标记设置了开启和关闭两种状态。

4.2 隐私保护组件

因为要在Android系统中实现隐私保护组件(PPM)，我们通过跟踪拍照过程中的函数调用来理清摄像头的数据流，以此确定在Android系统的何处实现PPM。数据流从硬件抽象层(HAL)开始，在Android应用层结束。当我们深入查看代码时，我们发现所有摄像头数据都通过Callback函数的参数传递给应用程序。当CAMERA_MSG_COMPRESSED_IMAGE消息从底层传递到框架层的MessageHandler时，这表示执行了拍照操作，随后Callback函数会被调用。在此函数中，应用程序会处理照片数据并将其展示给用户或者存储在本地。照片数据以二进制数组的形式传递。因此我们在Callback函数被调用之前执行隐私策略，然后将处理后的数据传递给Callback函数。

4.3 对象检测

对象检测模块负责检测对象并将其用对象区域进行标记。因为原型系统实现的是肖像隐私保护，所以被保护的对象为人脸。对象检测模块使用Google服务中的人脸检测找出照片中的人脸并进行标记。然后，近红外光检测模块就可以在相应的区域内检测近红外光标记。对象检测模块从FaceDetection函数得到的输出是双眼之间的距离和其中点。假设双眼间距是N，人脸宽度大约为2.5N，高度大约为3.5N。考虑到近红外光标记戴在帽子上，近红外光检测模块检测以人脸顶部1/3和人脸以上1/6为高，以人脸宽度为宽的矩形区域。检测区域如图1(b)所示。

4.4 近红外光标记检测

4.4.1 识别神经网络

为了更精确地识别每一个像素，我们建立了一个BP神经网络并用近红外光图像进行训练。我们将照片中每个像素的RGB值提取出来并为每个像素标记一个预期值(如果该像素由近红外光成像标记为1，否则标记为0)。最终我们得到了1 156 296组RGB值和对应的预期值。其中75%的像素作为训练集，其余25%作为测试集。因为输入只有三维，我们在隐藏层设置了七个节点。在每次训练过程中，我们将训练集中像素的RGB值输入到神经网络并计算其输出。然后根据输出值和预期值的不同调整每个节点的权重。在1 000次训练后，测试集的识别正确率为99.67%，训练集的识别正确率为99.70%。

4.4.2 近红外光识别

当一个像素经过BP神经网络后的输出和近红外光成像像素的输出相同时，我们将这个像素识别为近红外光成像像素。但是，我们并不会仅仅因为检测到一个近红外光成像像素就判定照片中存在近红外光标记。所以，我们必须定义近红外光标记识别的判断函数。近红外光标记在摄像头中成像的像素数量会根据两者之间距离改变。我们采用的方法是比较近红外光成像像素数量和整个对象的成像像素数量，因为无论距离大小，这两者的比例是保持不变的。由此，我们根据R(i)的结果来判断对象附近是否存在近红外光标记。R(i)的定义如下：

(1)

式中：BP(k)表示像素k作为输入时，BP神经网络的输出。像素k被识别为近红外光成像像素时输出1，否则输出0。O(i)表示整个对象i在照片中的成像像素数量。A(i)是对象i的近红外光检测区域内的像素集合。ratio是近红外光标记大小和人脸大小的比值。普通人的双眼间距为65 mm，近红外光标记的直径为53 mm，所以ratio的值大约为0.06。RelaxFactor表示近红外光标记识别在不同环境下的松弛因子，其取值范围是[0,1]。设置RelaxFactor的方法会在第5节中介绍。

对于每张人脸i，近红外光检测模块将检测区域内的所有像素输入到BP神经网络中并识别是否是近红外光成像像素。然后统计被识别为近红外光成像的像素的数量并计算R(i)。如果R(i)为True，近红外光检测模块将对象区域传送给隐私擦除模块，由其执行相应的隐私策略。否则，不做处理。

4.5 隐私策略

一旦近红外光标记被识别，隐私擦除模块就会执行隐私策略来保护敏感信息。原型系统中使用高斯模糊来擦除隐私。如图1(d)所示，在经过高斯模糊处理之后，声明隐私策略的人脸受到了保护。

5 系统评估

5.1 松弛因子的设置

如果没有穿戴近红外光标记的对象被误识别为需要隐私保护，这会降低系统的特异度(真阴性率)。这会严重影响摄像头的使用。同时系统正确识别近红外光标记的比率，也就是灵敏度(真阳性率)，也是用户所关心的。因此，松弛因子的设置尤为重要。如果松弛因子过大，识别条件会变得很苛刻以至于一些近红外光标记无法被识别，从而降低灵敏度。否则，特异度会降低。正如第三章中所提到的，RelaxFactor影响着系统的特异度和灵敏度。为了保证特异度和灵敏度都处于较高水平，我们根据如下实验来设置RelaxFactor。

5.1.1 特异度

我们从著名的图像数据库ImageNet[9]中下载了1 156张照片。所有照片都从“People”分类下载。这些照片都不包含任何近红外光标记。如果系统正确识别对象为未声明隐私，那么此识别为真阴性。我们将所有1 156张照片输入系统，在其中的288张中识别到了522张人脸。我们设置不同的RelaxFactor并统计被正确识别为未声明隐私的人脸数。图2显示了被统计的人脸数和总人脸数的比率，也就是特异度。

图2 不同松弛因子下的特异度和灵敏度

5.1.2 灵敏度

灵敏度实验的数据集通过拍摄穿戴近红外光标记的人得到，包括室内和室外环境。摄像头和对象之间的距离范围为1 m到10 m。考虑到近红外光标记功率有限，在选择实验环境时，强光环境没有被考虑。实验中，系统从118张照片中检测到110张人脸，我们认为如果人脸检测算法都无法识别到的人脸就不需要隐私保护。所以我们只需要考虑检测到的110张人脸。设置不同的RelaxFactor时，系统的灵敏度如图2所示。

5.2 松弛因子的取值

为了结合特异度和灵敏度来选择RelaxFactor，我们计算上述实验中特异度和灵敏度的加权平均数。考虑到系统的可用性，特异度和灵敏度的权重比例设置为3∶1。如图3所示，当松弛因子取值为0.10时，加权平均数取得最大值。所以我们设置RelaxFactor为0.10，此时系统特异度和灵敏度分别为93.86%和96.36%。

图3 特异度和灵敏度(3：1)的加权平均数

5.3 识别范围

对近红外光标记的识别范围也是评估系统可用性的关键指标。当摄像头和人脸的距离超过十米时，照片上的人脸已经无法识别也不会泄露隐私。因此，我们只考虑十米之内的情况。我们使用和章节5.1.2中相同的数据集。摄像头和人脸之间的距离为1 m、3 m、6 m和10 m。在110张照片中，1 m、3 m、6 m和10 m的照片分别有30张、28张、24张和28张。如表2所示，所有距离小于等于6 m的82张照片都被正确地识别并处理。其余28张距离10 m的照片中，有24张被正确识别并处理。实验结果表明，我们的系统在合理范围内可以有效地保护肖像隐私。

表2 不同距离下的近红外光标记识别率

5.4 性能评估

我们根据系统在拍照过程中带来的延迟评估系统的性能。实验考虑三种拍摄情况：1) 拍摄没有人脸的照片；2) 拍摄有人脸但没有近红外光标记的照片；3) 拍摄既有人脸又有近红外光标记的照片。每种情况都使用智能手机的前置和后置摄像头分别拍摄十次，然后计算整个过程的平均耗时。实验使用的智能手机是Google Nexus 4，操作系统为Android 4.2.2。Nexus 4前置摄像头分辨率为123万像素，后置摄像头分辨率为800万像素。实验中用于拍照的应用程序为系统默认相机应用。如表3所示，我们列举了六种拍摄情况下系统的平均延迟。

表3 不同情况下的照片拍摄延迟

因为系统在图像获取之后进行处理，延迟并不会影响照片的质量。由于图像分辨率大小不同，前置和后置摄像头的耗时会有所不同。当照片的内容变得更加复杂，系统会相应增加处理过程，拍照延迟也会增加。具体地，当拍摄没有人脸的照片时，系统只需要进行人脸识别。当检测到人脸时，近红外光识别会添加整个流程中。如果在人脸附近检测到近红外光标记，流程中又会加入高斯模糊操作。降低延迟的主要瓶颈是人脸检测算法，在后置摄像头进行拍摄时，86.64%的延迟都是由人脸检测算法引起的。系统使用的是Android API level 1中的人脸检测算法，此算法是未经优化的。我们认为如果使用优化后的算法(如OpenCV)来进行人脸检测，系统的性能将有更大的提升。如表3所示，考虑到除去人脸检测时间的系统延迟在可接受范围内，本系统不会对智能手机的摄像头服务造成影响。

6 结 语

在本文中，利用人眼和智能手机摄像头对光的感知范围的不同，我们提出了使用近红外光作为标记来保护被拍摄对象的隐私，弥补了现有passport[1]对人眼可见或者需要额外的传感器来传递隐私策略的缺点。实验证明了近红外光在摄像头中成像规律的存在。此外，我们在系统层设计了隐私保护组件用来识别近红外光标记并执行相应的隐私策略。最后，我们在Android 4.2.2平台上实现了系统并成功使用近红外光标记保护肖像隐私。综上所述，近红外光标记提供了一种新型可用的方法来保护照片中的隐私。

我们后续的工作将集中在优化近红外光标记的识别上。可行的方法是为近红外光标记加入形状属性，这可以提高识别的特异度。另外，我们还将研究如何增加近红外光标记承载的信息量以丰富标记可以传达的隐私策略。

[1] Roesner F,Molnar D,Moshchuk A,et al.World-driven access control for continuous sensing[C]//Proceedings of the 2014 ACM SIGSAC Conference on Computer and Communications Security.ACM,2014:1169-1181.

[2] Ahonen T T.Camera Stats[EB/OL].(2014-08-11).http://communities-dominate.blogs.com/brands/2014/08/camera-stats-world-has-48b-cameras-by-4b-unique-camera-owners-88-of-them-use-cameraphone-to-take-pic.html.

[3] Koifman V.Mobile Camera Marketing[EB/OL].(2015-02-11).http://image-sensors-world.blogspot.com/2015/02/mobile-camera-marketing.html.

[4] Worthington P.InfoTrends 2014 Worldwide Image Capture Forecast[EB/OL].(2014-12-11).http://blog.mylio.com/one-trillion-photos-in-2015/.

[5] 应放天,李冰.基于计算机视觉的防偷拍装置及方法:中国,CN103248825 B[P].2016-12-28.

[6] Dash M C.Fundamentals of ecology[M].Tata McGraw-Hill Education,2001.

[7] Lynch D K,Livingston W C.Color and light in nature[M].Cambridge University Press,2001.

[8] 田芊,廖延彪,孙利群.工程光学[M].北京:清华大学出版社,2006.

[9] Deng J,Dong W,Socher R,et al.Imagenet:A large-scale hierarchical image database[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009:248-255.

[10] Bo C,Shen G,Liu J,et al.Privacy.tag:Privacy concern expressed and respected[C]//Proceedings of the 12th ACM Conference on Embedded Network Sensor Systems.ACM,2014:163-176.

[11] Schiff J,Meingast M,Mulligan D K,et al.Respectful cameras:Detecting visual markers in real-time to address privacy concerns[M]//Protecting Privacy in Video Surveillance.Springer London,2009:65-89.

[12] Chinomi K,Nitta N,Ito Y,et al.PriSurv:privacy protected video surveillance system using adaptive visual abstraction[C]//International Conference on Multimedia Modeling.Springer Berlin Heidelberg,2008:144-154.

[13] http://www.idc.com/prodserv/smartphone-os-market-share.jsp.