国内外移动视觉搜索研究综述

孟猛 朱庆华

收稿日期：2020-08-06

基金项目：国家社会科学基金重大项目“面向大数据的数字图书馆移动视觉搜索机制与应用研究”（项目编号：15ZDB126）。

作者简介：孟猛（1977-），男，副研究员，博士，研究方向：用户信息行为。朱庆华（1963-），男，教授，博士生导师，研究方向：社会化媒体，互联网用户行为。

摘 要：[目的/意义]总结国内外移动视觉搜索（Mobile Visual Search，MVS）研究进展，发现现有研究已经取得的成绩、存在的局限性以及未来值得关注的潜在研究方向。[方法/过程]通过对文献内容进行分析，从关键点检测、特征提取与表示、特征索引与匹配、几何一致性验证、系统框架与搜索算法、系统应用与交互式系统、MVS产品分类比较、视觉数据集构建与数据库压缩、体系结构与模式机制、MVS用户行为意愿以及异构MVS系统标准化等对当前研究成果进行梳理。[结果/结论]未来移动视觉搜索的研究可考虑从用户行为视角开展诸如用户体验、初始采纳、持续使用以及情感依恋等方面的研究。

关键词：移动视觉搜索;交互式信息检索;综述

DOI：10.3969/j.issn.1008-0821.2021.01.019

〔中图分类号〕G250.7 〔文献标识码〕A 〔文章编号〕1008-0821（2021）01-0158-11

Review of Research on Mobile Visual Search at Home and Abroad

Meng Meng1 Zhu Qinghua2

（1.Institute of Scientific and Technical Information，Chinese Academy of Tropical Agricultural Sciences，

Haikou 571737，China;

2.School of Information Management，Nanjing University，Nanjing 210023，China）

Abstract：[Purpose/Significance]This paper summarizes the research progress of Mobile Visual Search（MVS）at home and abroad，and finds out the achievements，limitations and potential research directions worthy of attention in the future.[Method/Process]Through the analysis of the literature content，the current research results were sorted out from key index detection，feature extraction and representation，feature indexing and matching，geometric consistency verification，system framework and search algorithm，system application and interactive system，MVS product classification and comparison，visual data set construction and database compression，system structure and model mechanism，MVS user behavior intention and heterogeneous MVS system standardization.[Result/Conclusion]The future research on MVS can be carried out from the perspective of user behavior，such as user experience，initial adoption，continuous use and emotional attachment.

Key words：mobile visual search;MVS;interactive information retrieval;review

移動视觉搜索（Mobile Visual Search，MVS）是指利用移动智能终端获取用户视觉接近对象的图像或视频为检索项，通过移动互联网搜索视觉对象关联信息的一种交互式信息检索方式[1-3]。此类应用程序可用于识别产品、艺术品、印刷媒体和地标等，诸如Google Goggles、Kooaba、SnapTell、GazoPa、TinEye，以及拍立淘、拍照购、手机百度、微软识花、形色等。MVS技术克服了基于文本的信息检索（Text-based Information Retrieval，TBIR）系统固有的局限性，例如语义模糊性和语言的抽象表达。随着大数据时代的到来，基于视觉的信息提取、分析和检索将比其他信息处理方法更具优势[4]。然而，作为一种新兴的领域，MVS面临着以下独特的挑战[5-6]：①较大的查询视觉差异;②严格的内存和计算约束;③网络带宽限制;④即时搜索体验。国内外学者为了克服这些独特的挑战，从不同视角开展了MVS的相关研究。为帮助学术界了解MVS的研究进展，有学者对MVS的内涵、主要研究方法、相关技术及主要挑战、应用实践等进行了阐述，并对MVS技术在数字图书馆中的应用前景进行了分析[7];有学者对大规模MVS的特征提取与表示、高维索引与匹配、几何一致性校验等关键问题进行了分析和归纳[8]。

目前，有关MVS的综述研究还存在一定的局限性，原因是对国内外MVS相关研究现状的梳理还不够系统全面，不足以反映当下MVS相关研究的总体概貌。因此，为帮助学术界全面了解当前国内外MVS的研究进展，笔者在必应学术、谷歌学术、百度学术，以及Web of Science、LISA、EI、ACM、CCF和CNKI等数据库中，分别检索关键词、标题及主题中含有“Mobile Visual（Image or Video）Search”和“移动视觉（图像或视频）搜索”的文献，通过梳理、分析及归纳总结，国内外MVS研究视角的分布，如图1所示。依据国内外MVS研究现状，本文拟从关键点检测、特征提取与表示、特征索引与匹配、几何一致性验证、系统框架与搜索算法、系统应用与交互式系统、MVS产品分类比较、视觉数据集构建与数据库压缩、体系结构与模式机制、MVS用户行为意愿以及异构MVS系统标准化等方面梳理和评析MVS的研究进展，发现现有研究已经取得的成绩、存在的局限性以及未来值得关注的潜在研究方向。

1 关键技术研究

1.1 关键点检测

特征提取通常从图像中找到突出的关键点开始[9]，然而移动终端拍摄的随意性以及外界环境因素的影响造成了巨大的视觉变异，这就要求关键点在背景杂乱、前景遮挡、物体变形、抖动模糊、视角变化、尺度变化、旋转变化、光照变化等条件下是可重复的。为了实现尺度的不变性，通常使用图像金字塔在多个尺度上计算关键点[10];为了实现旋转不变性，每个关键点周围的补丁都定向在主梯度的方向上[1];并通过归一化每个补丁中灰度值像素的均值和标准差来补偿光照变化[9，11]。

国外关于关键点检测子研究成果颇丰，Harris C等[12]提出一种基于图像灰度的关键点检测子——Harris Corner。Mikolajczyk K等[13]考虑了尺度空间理论，提出了一种应用拉普拉斯高斯进行自动尺度选择的关键点检测子——Harris-Laplacian。Lowe D G[10]在尺度不变特征变换（Scale Invariant Feature Transform，SIFT）算法中应用高斯差分滤波器，提出了尺度不变特征变换高斯差分关键点检测子——SIFT DoG。此外，还有一些关键点检测子，诸如加速鲁棒特征（Speeded Up Robust Feature，SURF）[14]、良好特征追踪、最大稳定极值区域、中心环绕极值、加速分段测试特征、Hessian Affine、Hessian Blobs等。由于不同关键点检测子在可重复性和复杂性方面提供了不同权衡，Mikolajczyk K等[15]在一个通用框架内对SIFT、梯度位置和方向直方图（Gradient Location and Orientation Histogram，GLOH）、方向可调滤波器、差分不变量、复数滤波器和不变矩等关键点检测子的性能进行了评估。实验结果显示，GLOH性能最佳、SIFT紧随其后;在低维描述符中，矩和方向可调滤波器性能最佳。

1.2 特征提取

全局特征是指可以表示整体图像的特征，传统的全局特征包括颜色、纹理和形状等整体特征，如纹理直方图等。局部特征则是指从具有局部显著结构的图像区块（如边缘、角点、斑块等）中提取的視觉特征。尽管传统全局特征（颜色、形状、纹理等）可能会产生较好效果，但是在移动环境下全局特征已无法满足对视觉特征的新需求[8]。基于此，本文主要介绍局部特征提取。

自从1999年以来，Lowe D G[16]提出的SIFT描述符仍是计算机视觉中最流行的描述符，该描述符对放缩、旋转、光照变化、视角变化以及噪声失真具有高度的判别力和鲁棒性。然而，SIFT描述符的尺寸比较大，有时甚至比捕获图像还大，这使得它不适合直接用于MVS系统。因此，后续研究主要集中于如何将128维的SIFT描述符降低到低维空间[17]。如Datar M等[18]的局部敏感哈希SIFT，Ke Y等[19]的主成分分析SIFT，以及Shakhnarovich G[20]的相似敏感编码SIFT等。此外，还有一些学者提出了GLOH、压缩梯度直方图、二进制鲁棒独立基本特征、二进制鲁棒不变可扩展关键点、快速视网膜关键点等描述符。然而，MVS是在带宽有限的无线网络环境下进行的，大数据量传输带来的上行查询传输延迟，将直接影响用户体验。近年来，学者们的研究工作更多地关注描述符紧凑提取[21-23]、描述符改进[24-25]、描述符评估[26]等方面。此外，还有学者从分层结构化多视图特征[27]、局部强度比较[28]和3D对象视频序列特征[29]等方面开展了描述符相关研究。

1.3 特征表示

视觉对象特征表示是MVS的关键环节，为进一步减少无线网络传输流量、降低网络延迟，MVS领域的特征表示研究主要包括二进制哈希、特征量化等。在二进制哈希研究方面，Chang S F等[30]提出了一种基于哈希位袋（Bag of Hash Bit，BoHB）的MVS系统，在该系统中，整个图像被表示为BoHB。Qi H等[31]提出了一种参数少、低延迟和高精度的深度哈希方法来构建用于MVS的二进制哈希代码。Zhang Q等[32]提出了一种基于BoHB的MVS方案，该方案可以显著减少从移动设备到服务器的数据传输量。此外，Zhao B等[33]根据人类视觉系统（HVS）的稀疏编码原理，采用局部近邻保持的哈希函数来建立SIFT特征的二进制稀疏表达式。在特征量化研究方面，Zhang G等[34]为了解决MVS的准确性和快速传输问题，提出一种与费希尔向量（Fisher Vector，FV）互补的方法。Lin J等[35]提出了一个多码本学习和查询专用码本生成方法，以减少在极低比特率MVS中出现的词汇编码中的冗余码字。Zhou W等[36]提出了一种大规模移动图像搜索的无码本算法。Zhang X等[37]提出了一种新的MVS解决方案，它以一个短视频片段为查询对象，并为查询视频生成了一个紧凑而具有区分性的时空费希尔矢量（TSFV）。Chen J等[38]针对在移动端提取紧凑视觉描述符时，树结构向量量化器会占用较大内存，提出了一种修剪树结构向量量化器方案。此外，还有学者为了减少无线网络传输流量、降低网络延迟，开展了分层稀疏编码[39]、多层级小波分解[40]和词汇分解[41]等在MVS中的应用研究。

1.4 特征索引

为了实现MVS在大型图像数据库中快速而准确的匹配，必须对大型图像数据库中局部特征进行索引，目前主要有两种索引方法[42]：第一种方法涉及尝试搜索近似最近邻（Approximate Nearest Neighbor，ANN），如Lowe D G[10]采用最优节点优先策略对SIFT描述符进行ANN搜索。高维空间内的ANN搜索主要通过哈希技术来实现[8]，如局部敏感哈希[43-44]。第二种方法涉及词袋（Bag-of-Words，BoW）模型[45-47]，通过量化特征空间以实现更快的速度。然而，随着图像数据库大幅度地增加，BoW和倒排索引会占用大量内存空间。目前，学者们主要通过压缩倒排索引或稳定点过滤方法来减少倒排索引文件的大小。如Chen D M等[48]针对倒排索引占用大量内存会阻碍图像数据库的可伸缩性，并减慢内存拥塞服务器上的进程，提出了一种压缩的倒排索引，该索引可以显著减少多达5倍的内存使用量，而且对分类精度没有任何影响。Wang Y等[49]针对SIFT等高维局部特征的索引机制不够快，而许多低维特征不能确保高精度，提出了一种用于MVS的全自动离线稳定点过滤方法。

1.5 几何一致性验证

为了解决BoW模型出现错误匹配的问题，几何验证[10，50-51]成为获得合理检索精度的重要后处理步骤，特别是对于低分辨率图像。为此，学者们提出了许多几何一致性验证方法，这些方法主要分为两类[52]：局部几何信息一致性验证和全局几何信息一致性验证。在局部几何信息一致性验证研究方面，Luo J等[53]认为两个真正匹配的局部特征不仅应在相似的空间上下文中，而且还应具有一致的空间关系，因此应同时引入上下文相似性和空间相似性来描述几何一致性。Gao K等[54]为了防止查询扩展中的查询偏移，预先消除扩展特征引起的错误匹配，将每个特征的代表性视点用于有效的几何一致性验证，以支持快速和准确的特征匹配。此外，Lyu X等[27]针对描述符匹配结果可能包含异常值，使用多视图基础矩阵（Multi-View Fundamental Matrix），对层级提升算法进行适当的几何验证，以提高MVS的性能。在全局几何信息一致性验证研究方面，1981年由Fischler M A等[55]提出的随机抽样一致性（Random Sample Consensus，RANSAC）算法是最流行的全局几何信息一致性验证方法。Yang X等[56]在移动地标图像搜索系统中，将BoW模型和倒排文件一起用于索引和匹配，为了进一步消除误报，使用RANSAC算法来估计查询与目标之间的几何变换。尽管RANSAC算法精度较高，但是RANSAC算法需要耗费比较多的计算时間。为此，Jégou H等[57]提出了弱几何一致性验证方法，该方法以牺牲一定的精度为代价，极大地提高了验证速度。此外，还有学者基于几何统计方法[58]和嵌入式3D几何评分[59]开展了相关研究。

2 MVS系统框架、算法与应用研究

2.1 MVS系统框架与算法研究

在MVS系统框架研究方面，学者们主要针对MVS面临的挑战，结合MVS基本流程的各模块所需关键技术（如图2所示），开展了如何提高MVS检索性能的系统框架研究。Liu X等[60]提出了一个仅在拍照手机上运行的视觉搜索系统框架，该框架通过手机摄像头捕获打印文档的图像来搜索电子文档。Qi H等[61]为了减少MVS传输开销，提出了一种基于词汇分解（Vocabulary Decomposition，VD）的MVS低传输开销框架。Peng P等[62]提出了一种基于查询质量依赖融合方法的MVS质量感知框架。al瘙塂r F等[63]提出了一种新的多视图视觉查询模型，该模型在多视图对象图像数据库上进行MVS。Duan L Y等[64]提出了一个移动文档图像检索的总体框架。Hu H等[65]提出了一个基于各种最新深度学习视觉特性的级联学习排序框架。Gao W等[66]提出了一种基于多模式哈希的即时移动视频搜索框架。此外，齐云飞等[67]提出了一种将语义搜索与视觉搜索相结合的数字图书馆MVS系统框架。胡蓉等[68]提出了一个混合需求驱动的文内视觉资源MVS总体框架。在MVS搜索算法研究方面，学者们为了增强用户搜索体验、提高系统检索性能，主要开展了MVS相关技术算法的改进、优化与集成等方面的研究。Patel H[69]提出了一个视觉搜索算法，该算法可以根据输入图像的特征或关键点发现匹配的图像。Shen X等[70]提出一种可以同时从查询中提取产品实例、识别实例并从视觉上检索相似产品图像的方法。Yang D S等[71]提出了一种有效的图像检索方法，该方法利用地理参考属性和低层视觉特征的组合，对图像进行索引和检索。Ahmad J等[72]提出了一种基于草图的移动设备图像检索方法，该方法通过一个高效的卷积神经网络对面向草图的增强数据集进行微调，从部分彩色草图中提取深层神经代码。Mennesson J等[73]提出了一种基于内容的图像检索（Content-based Image Retrieval，CBIR）方法，该方法使用专门在移动设备上构建匹配的BoW。此外，Li H等[74]提出了一种使用立体特征进行3D对象识别的移动3D视觉搜索方案。

2.2 MVS系统应用及比较研究

MVS系统应用研究主要集中在专业领域MVS系统和交互式MVS系统两个方面。在专业领域MVS系统方面，学者们主要在文档[75-77]、杂志[78]、画廊[79]、旅游[80]、地标[81]、购物[82-83]、视频[84-85]、博物馆[86]、图书馆[87]和植物[88]等领域开展了MVS应用方面的研究。在交互式MVS系统方面，学者们的研究主要围绕在多模式联合搜索系统和多点触控交互式搜索系统两个方面：①针对多模式联合搜索系统研究，Wang Y等[89]利用智能手机的多模式和多触点交互等功能，为手机用户提出了一个创新的应用程序（JIGSAW），以促进他们的视觉搜索体验。Li H等[90]提出了一种基于移动设备的多模式交互式图像搜索系统（JIGSAW+）。类似的，还有学者提出了一种允许用户与移动终端多模式交互的MVS系统（JIGSAW+）[91]。此外，Bagul M R E等[92]提出了一种多类型输入（如文本、图像、语音等）的交互式视觉搜索系统。②针对多点触控交互式搜索系统研究，Zhang N等[93]提出了一种交互式的“点击-搜索”系统，该系统既利用了个人在移动触摸屏上通过“点击”动作选择感兴趣区域的意图，又利用了大规模图像数据库中的搜索机制。Aher K V等[94]提出了一个智能图像检索系统，该系统充分利用智能手机的多模式和多点触控功能，允许在手机上进行图像、语音和文本搜索。Sang J等[95]通过利用移动设备上的多点触控交互，提出了一种交互式MVS原型（TapTell），帮助用户更方便地表达他们的视觉意图。类似的，Muneesawang P等[96]将BoW模型和先进的检索算法相结合，提出了一种MVS和社交活动推荐系统。除MVS系统应用研究之外，为了能给产业界研发与完善MVS提供新的方向和思路以及学术界研究MVS提供参考和帮助，学者们还开展了国内外MVS应用案例分析与分类比较研究。如Nikolopoulos S等[97]从采用技术、目标领域和经营模式3个方面对国外12个MVS应用进行了比较分析。张兴旺等[7]从商业背景、应用领域、服务模式和基本功能4个方面对国外不同类型MVS应用案例进行了比较分析。马腾腾等[98]从依托设备及使用的技术两个层面对国外部分视觉搜索产品进行了分类研究。类似地，史昱天等[99]从搜索架构和运营模式两个方面，对国内主流MVS工具进行了比较研究。

当前，学术界和产业界都对MVS这一新兴搜索模式给予了极大关注，并开发了大量的MVS系统框架、算法与应用，而且几乎所有的MVS系统都提供不同的搜索界面和图像元数据描述格式，从而阻碍了统一和高效的访问，这使得异构MVS系统之间必然会存在互操作性问题。为了解决MVS的互操作性问题，创建统一的图像存储库接口，国际标准化组织ISO/IEC SC29/WG11提供了用于標准化多媒体存储库查询语言的标准ISO/IEC 15938-12：2008[124-126]和标准化视觉搜索紧凑描述符（Compact Descriptors for Visual Search，CDVS）的标准ISO/IEC DIS 15938-13：2014[127];国际标准化组织ISO/IEC SC29/WG1提供了图像元数据互操作性问题解决方案的标准ISO/IEC 24800：2010[128-129]。此外，Tous R等[130-131]通过对ISO/IEC 15938-12和ISO/IEC 24800的研究，发现了与这两个标准整合以及它们涵盖视觉搜索场景方式有关的一些问题，并向标准化委员会提出了解决方案。

6 结 论

通过文献综述发现，国内外学者对MVS的相关研究主要集中在关键点检测、特征提取与表示、特征索引与匹配、几何一致性验证、体系结构、系统框架、搜索算法、系统应用、交互式系统和视觉数据集构建等方面。此外，为了在数字图书馆能够更好地利用MVS这种信息服务模式，也有学者从模式机制视角对数字图书馆MVS的信息服务模式和机制建设等进行了研究。但是到目前为止，国内外有关MVS用户行为研究方面的文献还相当匮乏，仅有个别学者开展了MVS用户行为意向研究。另外，在“互联网+”和大数据时代背景下，MVS作为新一代互联网服务模式，具有重要的研究价值、社会效益和广阔的市场应用前景。然而，与国外相比，国内MVS应用还存在巨大差距。尽管已有一些应用案例，但是尚未得到广泛应用，使用率并不高，用户黏性较差。因而，快速准确地把握影响MVS用户行为的显著因素是推动MVS快速发展的重要前提，而系统严谨地对MVS用户行为进行学术研究是十分必要的。鉴于此，本研究认为学者们未来可考虑从用户行为视角开展MVS的相关研究，具体可从用户体验、初始采纳、持续使用以及情感依恋等方面进行深入探讨：

1）从用户行为视角开展MVS用户体验研究，发现影响MVS用户体验的显著因素，分析MVS用户体验影响因素的作用机理，进而提出MVS用户体验提升策略，以期为MVS的管理者、设计者及运营商提供理论借鉴与实践指导，进而采取有效措施改善用户体验，优化MVS应用。此外，可以开展MVS用户体验跨文化和跨地域比较研究，通过跨文化和跨地域的比较研究，力求全面深入地探寻影响MVS用户体验的因素;还可以开展不同的MVS用户体验比较研究，通过开展不同的MVS用户行为横向比较研究，发现存在的不足，以便于为不同的MVS提出更有针对性的用户体验提升策略。

2）在“互联网+”和大数据时代背景下，MVS作为新一代互联网服务模式，具有广阔的市场应用前景。但从目前来看，MVS尚未得到广泛应用，使用率并不高，用户实际采纳规模和利用水平也十分有限。因此，MVS在采纳过程的初始阶段，如何获得用户的认可已成为一个现实问题。学者们未来可以考虑以理性行为理论（TRA）、技术接受模型（TAM）、技术接受与利用整合理论（UTAUT）、信息系统成功模型（ISM）为基础，引入认知理论中的首因效应，开展MVS用户初始采纳行为研究。

3）由于MVS作为新一代互联网服务模式，用户对MVS初始采纳是实现MVS成功的第一步，MVS的长期存活和最终的成功取决于它的持续使用。因此，如何提高用户满意度和忠诚度，增强用户黏性，洞察用户真正兴趣和心理需求，培养用户习惯等，确保用户在初始采纳MVS后持续使用，并对MVS产生情感依恋，进而产生长期使用行为，这些对MVS运营商来说尤为重要。学者们未来可以考虑从认知范式视角出发，整合扩展的信息系统持续使用模型（ECM-ISC）模型、习惯等构建概念模型，开展MVS用户持续使用行为研究;还可以考虑从情感范式视角出发，在扩展的ECM-ISC模型基础上整合情感依恋理论、依恋强度ARC模型等构建概念模型，进一步开展MVS用户持续使用行为研究。

参考文献

[1]Girod B，Chandrasekhar V，Grzeszczuk R，et al.Mobile Visual Search：Architectures，Technologies，and the Emerging MPEG Standard[J].IEEE Multimedia，2011，18（3）：86-94.

[2]朱庆华.大数据环境下数字资源移动视觉搜索机制[J].情报资料工作，2016，（4）：5.

[3]赵宇翔，朱庆华.大数据环境下移动视觉搜索的游戏化机制设计[J].情报资料工作，2016，（4）：19-25.

[4]Sun H G.Mobile Visual Search[D].Master of Engineering By Research thesis，School of Electrical，Computer and Telecommunications Engineering，University of Wollongong，2013.http：//ro.uow.edu.au/theses/4108.

[5]Liu W，Mei T，Zhang Y.Instant Mobile Video Search With Layered Audio-Video Indexing and Progressive Transmission[J].IEEE Transactions on Multimedia，2014，16（8）：2242-2255.

[6]Liu W，Ma H，Qi H，et al.Deep Learning Hashing for Mobile Visual Search[J].Eurasip Journal on Image & Video Processing，2017，2017（1）：17.

[7]张兴旺，黄晓斌.国外移动视觉搜索研究述评[J].中國图书馆学报，2014，40（3）：114-128.

[8]贾佳，唐胜，谢洪涛，等.移动视觉搜索综述[J].计算机辅助设计与图形学学报，2017，29（6）：1007-1021.

[9]Girod B，Chandrasekhar V，Chen D M，et al.Mobile Visual Search[J].IEEE Signal Processing Magazine，2011，28（4）：61-76.

[10]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[11]Mikolajczyk K，Tuytelaars T，Schmid C，et al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision，2005，65（1-2）：43-72.

[12]Harris C，Stephens M.A Combined Corner and Edge Detector[C]//Proceedings of the 4th Alvey Vision Conference.Manchester，UK：The Plessey Company，1988：147-151.

[13]Mikolajczyk K，Schmid C.Indexing Based on Scale Invariant Interest Points[C]//Computer Vision，2001.ICCV 2001.Proceedings.Eighth IEEE International Conference on.IEEE，2001，（1）：525-531.

[14]Bay H，Ess A，Tuytelaars T，et al.Speeded-Up Robust Features[J].Computer Vision & Image Understanding，2008，110（3）：404-417.

[15]Mikolajczyk K，Schmid C.A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1630.

[16]Lowe D G.Object Recognition from Local Scale-Invariant Features[C]//iccv.IEEE Computer Society，1999：1150.

[17]Du Y，Li Z，Qu W，et al.MVSS：Mobile Visual Search Based on Saliency[C]//IEEE，International Conference on High PERFORMANCE Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing.IEEE，2013：922-928.

[18]Datar M，Immorlica N，Indyk P，et al.Locality-sensitive Hashing Scheme Based on P-stable Distributions[C]//Twentieth Symposium on Computational Geometry.ACM，2004：253-262.

[19]Ke Y，Sukthankar R.PCA-SIFT：A More Distinctive Representation for Local Image Descriptors[C]//IEEE Computer Society，2004：506-513.

[20]Shakhnarovich G.Learning Task-specific Similarity[D].PhD thesis，Massachusetts Institute of Technology，2005.

[21]Ji R，Duan L Y，Chen J，et al.Towards Low Bit Rate Mobile Visual Search with Multiple-channel Coding[C]//ACM International Conference on Multimedia.ACM，2011：573-582.

[22]Chen D，Tsai S，Chandrasekhar V，et al.Residual Enhanced Visual Vector as a Compact Signature for Mobile Visual Search[J].Signal Processing，2013，93（8）：2316-2327.

[23]Ji R，Duan L Y，Chen J，et al.Mining Compact Bag-of-Patterns for Low Bit Rate Mobile Visual Search[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2014，23（7）：3099-3113.

[24]Seo J J，Yoona K R.Modified Speeded Up Robust Features（SURF）for Performance Enhancement of Mobile Visual Search System[J].Journal of Broadcast Engineering，2012，17（2）：388-399.

[25]Zeng K，Wu N，Kang K Y.A Color Boosted Local Feature Extraction Method for Mobile Product Search[J].International Journal on Recent Trends in Engineering & Technolo，2014.

[26]Chatzilari E，Liaros G，Nikolopoulos S，et al.A Comparative Study on Mobile Visual Recognition[C]//International Workshop on Machine Learning and Data Mining in Pattern Recognition.Springer，Berlin，Heidelberg，2013：442-457.

[27]Lyu X，Li H，Flierl M.Hierarchically Structured Multi-view Features for Mobile Visual Search[C]//Data Compression Conference，2014：23-32.

[28]Na S I，Lee K D，Lee S J，et al.Intensity Comparison Based Compact Descriptor for Mobile Visual Search[C]//Frontiers of Computer Vision.IEEE，2013：103-106.

[29]Yabushita H，Osawa T，Shimamura J，et al.Mobile Visual Search for 3-D Objects：Matching User-captured Video to Single Reference Image[C]//Consumer Electronics.IEEE，2013：122-123.

[30]Chang S F，Chung H，Lin T H，et al.Mobile Product Search with Bag of Hash Bits and Boundary Reranking[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2012：3005-3012.

[31]Qi H，Liu W，Liu L.An Efficient Deep Learning Hashing Neural Network for Mobile Visual Search[J].arXiv Preprint arXiv：1710.07750，2017.

[32]Zhang Q，Li Z，Du Y，et al.A Novel Progressive Transmission in Mobile Visual Search[C]//IEEE，International Conference on Dependable，Autonomic and Secure Computing.IEEE，2014：259-264.

[33]Zhao B，Zhao H W，Liu P P，et al.A New Mobile Visual Search System Based on the Human Visual System[J].Applied Mechanics & Materials，2013，461（461）：792-800.

[34]Zhang G，Zeng Z，Zhang S，et al.Transmitting Informative Components of Fisher Codes for Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2015：1136-1140.

[35]Lin J，Duan L Y，Chen J，et al.Learning Multiple Codebooks for Low Bit Rate Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2012：933-936.

[36]Zhou W，Yang M，Li H，et al.Towards Codebook-Free：Scalable Cascaded Hashing for Mobile Image Search[J].IEEE Transactions on Multimedia，2014，16（3）：601-611.

[37]Zhang X，Wang Y，Liu Z，et al.Selectively Aggregated Fisher Vectors of Query Video for Mobile Visual Search[C]//IEEE Second International Conference on Multimedia Big Data.IEEE，2016：334-341.

[38]Chen J，Duan L Y，Ji R，et al.Pruning Tree-structured Vector Quantizer Towards Low Bit Rate Mobile Visual Search[C]//IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2012：965-968.

[39]Yang X，Liu L，Qian X，et al.Mobile Visual Search Via Hievarchical Sparse Coding[C]//IEEE International Conference on Multimedia and Expo.IEEE，2014：1-6.

[40]Miao S，Li Z，Qu W，et al.Progressive Transmission Based on Wavelet Used in Mobile Visual Search[J].International Journal of Embedded Systems，2014，6（2/3）：114-123.

[41]Khaire P S.Mobile Visual Search：A Low Transmission Overhead Framework Based on Vocabulary Decomposition[J].International Journal of Innovative and Emerging Research in Engineering，2015，2（3）：118-122.

[42]Duan L Y，Chen J，Wang C Y，et al.Key Technologies in Mobile Visual Search and MPEG Standardization Activities[J].ZTE Communications，2012，10（2）：57-66.

[43]Andoni A，Indyk P.Near-Optimal Hashing Algorithms for Approximate Nearest Neighbor in High Dimensions[J].Communications of the ACM，2008，51（1）：117-122.

[44]Wang J，Shen H T，Song J，et al.Hashing for Similarity Search：A Survey[J].Computer Science，2014.

[45]Sivic J，Zisserman A.Video Google：A Text Retrieval Approach to Object Matching in Videos[C]//IEEE International Conference on Computer Vision.IEEE Computer Society，2003：1470.

[46]Nister D，Stewenius H.Scalable Recognition with a Vocabulary Tree[C]//Computer Vision and Pattern Recognition，2006 IEEE Computer Society Conference on.Leee，2006，（2）：2161-2168.

[47]Xie H，Gao K，Zhang Y，et al.Efficient Feature Detection and Effective Post-verification for Large Scale Near-duplicate Image Search[J].IEEE TRANSACTIONS on Multimedia，2011，13（6）：1319-1332.

[48]Chen D M，Tsai S S，Chandrasekhar V，et al.Inverted Index Compression for Scalable Image Matching[C]//Data Compression Conference.IEEE，2010.

[49]Wang Y，Chen K，Zhou Y，et al.An Improved Offline Stable Point Filtering Method for Mobile Search Application[C]//International Conference on Information Engineering and Computer Science.IEEE，2009：1-5.

[50]Jegou H，Douze M，Schmid C.Hamming Embedding and Weak Geometric Consistency for Large Scale Image Search[M]//Computer Vision-ECCV 2008.OAI，2008：304-317.

[51]Philbin J，Chum O，Isard M，et al.Object Retrieval with Large Vocabularies and Fast Spatial Matching[C]//Computer Vision and Pattern Recognition，2007.CVPR07.IEEE Conference on.IEEE，2007：1-8.

[52]衡星.基于幾何信息的近相似图像检索[D].成都：电子科技大学，2016.

[53]Luo J，Lang B.Efficient Geometric Re-ranking for Mobile Visual Search[M].Computer Vision-ACCV 2012 Workshops.Springer Berlin Heidelberg，2013：520-532.

[54]Gao K，Zhang Y，Zhang D，et al.Accurate Off-line Query Expansion for Large-scale Mobile Visual Search[J].Signal Processing，2013，93（8）：2305-2315.

[55]Fischler M A，Bolles R C.Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J].Communications of the ACM，1981，24（6）：381-395.

[56]Yang X，Pang S，Cheng K T T.Mobile Image Search with Multimodal Context-aware Queries[C]//Computer Vision and Pattern Recognition Workshops.IEEE，2010：25-32.

[57]Jégou H，Douze M，Schmid C.Improving Bag-of-Features for Large Scale Image Search[J].International Journal of Computer Vision，2010，87（3）：316-336.

[58]Zhang M，Li S，Lin X，et al.Fast Verification Via Statistical Geometric for Mobile Visual Search[J].Multimedia Systems，2016，22（4）：525-534.

[59]Wu H，Li H，Flierl M.An Embedded 3D Geometry Score for Mobile 3D Visual Search[C]//IEEE，International Workshop on Multimedia Signal Processing.IEEE，2017：1-6.

[60]Liu X，Hull J J，Graham J，et al.Mobile Visual Search，Linking Printed Documents to Digital Media[J].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2010.

[61]Qi H，Stojmenovic M，Li K，et al.A Low Transmission Overhead Framework of Mobile Visual Search Based on Vocabulary Decomposition[J].IEEE Transactions on Multimedia，2014，16（7）：1963-1972.

[62]Peng P，Li J，Li Z N.Quality-aware Mobile Visual Search[J].Procedia-Social and Behavioral Sciences，2014，147：383-389.