违反robots协议之商业大数据抓取行为的类型及其法律规制

余玮

(中国计量大学 浙江杭州 310000)

1 引言

2016年中共中央办公厅、国务院办公厅印发的《国家信息化发展战略纲要》指出“：信息资源日益成为重要的生产要素和社会财富。”在当今社会，商业数据在企业的竞争环境中扮演着愈发重要的角色，商业数据已不仅仅作为商业往来过程中信息的记载形式而存在，更是在提高互联网经济体竞争力、加强互联网经济体市场优势地位的过程中起到不可或缺的作用。

与此同时，社会生活中与数据有关的纠纷有随之上升的趋势。robots协议作为互联网企业之间约束对方数据访问与抓取行为的重要约定，在法院据此以《反不正当竞争法》来判定抓取行为是否构成违法的过程中有着重要影响。然而由于互联网商业经济的发展速度远快于该领域的立法进程，相关法律法规当前尚处于滞后状态。根据现有判决来看，法院往往会依据《反不正当竞争法》对涉案主体的行为是否具有不正当性作出判断。通常认为若数据控制主体对部分网页内容设置了robots协议，那么原则上对该部分内容的抓取行为就具有不正当性因而构成不正当竞争，若数据控制主体没有设置robots协议，则抓取行为原则上不构成不正当竞争。然而，互联网领域所涉商业数据种类以及侵权方式各有不同，robots协议虽然在帮助法院裁判的过程中具有一定的作用，但究其本质其不具有法律效力。robots协议对于法院案件裁判的影响力有多大，抓取方无视robots协议进行商业数据抓取的行为或商业数据控制方事先为了反抓取而设robots协议的行为是否构成不正当竞争，当前并无统一规则予以参考。因此若要认定数据抓取或反抓取的行为具有违法性，还需具体结合被诉方的行为手段、数据本身的类型以及获取数据后的具体使用行为进行个案判定，直接以robots协议的有无作为涉数据案件的裁判依据的做法尚值得商榷。本文拟通过对当前涉robots协议的典型案件进行分析，提炼出涉商业数据纠纷案件的共性，以期使互联网商事主体对自身的抓取与反抓取行为有更为清晰的指引和参考。同时，尝试对司法裁判过程中出现的疑点与争点提出新的主张与建议，为解决实务中的争议提供新的思路。

2 robots协议限制下的案件类型探析

robots协议最早是内容网站为了避免搜索引擎抓取无效内容，同时也为了保护内容网站的信息安全与涉密隐私而单方制定的，事先无需征得对方同意。同时该协议只是单方约定与提示，技术上并无防止其他网站抓取的效力。随着互联网环境的日趋复杂，当前数据信息的抓取与被抓取已不仅仅存在于互联网内容网站与搜索引擎之间，互联网企业间与聚焦网络爬虫相关的案件日趋增加。其中一部分案件的特征便是在robots协议存在的情况下，一些互联网企业不顾robots协议提示，依旧对数据内容网站的数据进行抓取。在此类案件中，法院是否可以据此直接认定数据抓取方构成不正当竞争，数据内容网站是否有可能为了恶意限制其他互联网企业的正常运营，进而针对某一企业专门设置robots协议来禁止合理正当的互联网企业间的信息流通？在与robots协议有关的数据纠纷案件中，对于抓取方而言，抓取行为与使用行为是手段与目的之间的关系，对于数据控制方而言，设置robots协议与限制其他企业抓取是手段与目的之间的关系。同时由于互联网环境的复杂性，不宜直接认定抓取方略过robots协议提示的数据抓取行为构成不正当竞争，而应通过使用行为的目的是否正当，有无对数据控制方造成损害等情形进行具体分析。本文通过对此类案件进行进一步分析，以加深理论与司法实践中人们对于存在robots协议限制的案件认知。

2.1 robots协议限制具有正当性的情形

在互联网企业竞争过程中，数据控制方往往会出于某些因素的考量而禁止其他互联网企业对自己网站的部分内容进行抓取，这类禁止行为或出于合理的理由，或出于限制竞争对手的目的，或者是为了抢夺商业流量及潜在客户的需要。即使数据控制方事先对其他网络主体的抓取行为进行过限制，法院在裁判过程中也不应以存在限制协议为由就认为数据抓取行为构成侵权，只有当数据控制企业的限制行为具有合理性的时候，抓取者忽视协议的要求径直抓取的行为才有可能构成不正当竞争。因此对于合理性事由的认定，成为判断抓取行为是否具有不正当性的重要因素。本文认为，若涉案数据属于用户的隐私信息、个人信息，或者是商业秘密，或属于衍生数据，对于这三类数据通过robots协议进行事前保护通常具有一定的合理性。数据控制平台的该种限制行为并不违反互联网互联互通与信息共享的原则，此类限制行为不应被认定为具有不正当性。此时商业数据抓取方的抓取行为通常会被法院认定为构成不正当竞争。例如对于涉及商业用户隐私的数据或涉及用户个人信息的数据，若数据抓取方未征得用户同意，忽视robots协议的限制并直接通过技术手段从平台获取此类商业数据进行同质化竞争，便构成不正当性。同时对于构成商业秘密的数据以及经原始数据搜集分析后形成的衍生商业数据而言，由于这类数据系企业投入较多人力物力成本，数据经过长时间积累才得以形成，此类商业数据对于企业的经营与发展具有较大的帮助，企业往往对此享有受竞争法保护的财产性权益，因此企业通过设置robots协议禁止他方主体抓取该类数据的做法合情合理，此时他方主体若擅自抓取上述数据并对数据控制企业造成损失的，则构成不正当竞争。当然，除上述三种数据类型以外，若企业出于维护自身网站正常运行的需要或出于社会公共利益的需要考虑，对抓取行为的限制也同样具有合理性，前者如商事网站为了正常运营秩序而排除其他网站的爬虫多次重复恶意的访问干扰以避免自身网站瘫痪，后者如铁路购票网站基于社会公共利益考虑而对自动抢票软件的爬虫进行的抓取限制。

2.2 robots协议限制无正当性的情形

在涉案数据属于用户隐私信息数据、商业秘密类数据或衍生数据的情况下，数据控制方使用robots协议对该类数据进行保护可被认定为具有合理性。但由于当前互联网企业间竞争模式的多样化，以及商业数据越发具有经济与商业竞争上的双重价值，部分企业为了保护其他对己方有利的商业数据或是从自身商业策略角度出发，对于上述数据以外的商业数据也会采取设置robots协议的方式向数据抓取方表明自己不愿意将数据被互联网爬虫抓取的态度。然而，robots协议在出现初期便是以数据共享为目的，为了促进高效的信息流通，避免数据抓取者抓取到无用的信息而设置的，其默认语言是允许抓取，因此从robots协议最初设立的意图角度而言，企业通过设置robots协议的方式进行市场竞争属于robots协议运用过程中的例外情形。但在近些年国内外相关判决案件中，亦有案例承认数据控制企业可以通过robots协议的方式对自身数据作出一定安排，属于企业自主经营权的一部分。例如某案例中微博通过robots协议对今日头条的抓取行为作出限制，法院在最终判决中承认了微博的这一自主经营权，值得注意的是，法院在该案的一审阶段作出了与二审截然相反的判决。因此，企业对其商事数据进行抓取上的限制行为是否具有正当性，是企业自主经营权的体现还是对互联网互联共享原则的违反，这些问题值得进一步探究。本文认为，企业对用户的隐私数据或信息数据、商业秘密以及衍生数据的限制可被认定为具有正当性，属于合理理由的限制。但对于上述数据以外普通数据的抓取行为进行限制的，由于违背了互联网数据共享与流通的原则，以及企业间自主采取针对性限制措施的方式会扰乱互联网竞争秩序进而损害普通用户使用互联网的便利性，这类限制数据抓取的行为应属于无正当性的robots协议限制情形。关于“无正当性”的认定，作者对此作广义理解，即除上述具有正当性三种情形以外的其他情形，均认定为不具有正当性的情形，具体可根据限制方主观方面是否恶意将限制行为区分为“数据控制者恶意限制情形”以及“其他无正当性的限制抓取情形”，本文将在下文对这两种情形具体展开论述。

2.2.1 数据控制企业恶意限制情形

对于隐私数据、商业秘密数据、衍生数据以外的商业数据，若数据控制方对抓取行为的限制具有恶意的情形且损害了抓取方的合法利益，则数据控制方的限制行为应受到法律规制。然而对于“恶意”的认定，可通过双方主体是否具有同业竞争关系，是否为了达到市场垄断效果，有无损害其他企业的目的以及是否具有违反《反不正当竞争法》的行为这几个方面进行考量。典型案例如百度通过设置robots白名单的方式对360引擎的抓取行为进行限制，由于两者同为搜索引擎服务企业，双方具有同业竞争关系，百度为了自身企业的发展，在已允许当时国内外主流搜索引擎抓取其信息的情况下，针对性地对360网站的抓取行为进行限制。由于两者具有同业竞争关系，百度对360网站的限制行为可被认为具有歧视性，该行为将降低360用户的使用体验，限制360搜索引擎的发展进而稳固百度方自身的市场竞争地位。对于整个互联网环境而言，若所有互联网企业均为了企业自身利益而任意对其他互联网企业的抓取行为进行限制，必将影响整个互联网领域信息流通的效率性和便捷性。因此百度的限制行为不具有正当合理的理由，损害了360搜索引擎的市场竞争利益，对360搜索引擎造成了损害，扰乱了公平的市场竞争秩序，符合具有恶意的限制情形，应受到竞争法的规制。同时，数据控制企业对抓取行为采取限制措施的正当性和抓取方突破限制后抓取使用行为的正当性应当分别评价。此时在数据控制方具有过错的情形下，数据抓取方突破数据控制企业的恶意限制，对所抓取的数据进行合理合法使用的行为，可被认定为存在正当性，抓取行为不构成不正当竞争。但若数据抓取方抓取数据后具有不正当的使用行为，对数据控制企业造成损害的则仍需要进行赔偿，例如在上述案例中，百度对360公司不当抓取、链接的行为提出了诉讼主张，法院也对该主张予以了支持。

同时需要说明的是，争议双方是否具有同业竞争关系只是判断数据控制企业限制行为是否恶意的参考因素而非必备要素，在某些情形下，即使企业双方并无同业竞争关系，数据控制企业出于自身利益而对其他企业的抓取行为进行恶意限制的，只要对其他企业构成损害，依旧属于侵权行为，应受到法律的规制。

2.2.2 其他无正当性的限制抓取情形

通常，在数据控制方为了限制其他企业发展，或为获得市场垄断地位而恶意设定限制数据抓取措施的情形下，可较为清晰地将上述情形认定为具有不正当性。但若是某数据控制企业在采取限制抓取的措施时既无主观上的恶意限制情形，又不存在具有正当性的合理理由，此时该限制行为是否具有不正当性？限制行为是否应受到《反不正当竞争法》的规制？对此值得探析。在微博与今日头条诉讼中，一二审法院作出了截然相反的判决，其中二审法院认定微博的限制行为属于企业的经营自治行为而具有正当性，不构成不正当竞争，但在一审的判决中，法院对微博方限制抓取行为的不正当性的论述同样具有说服力。本文认为，造成一二审判决截然相反的原因在于微博方的限制行为虽然存在一定的不合理性，但该不合理尚不足以达到应受《反不正当竞争法》规制的程度，这也是二审法院能得以推翻一审法院判决的原因所在。

该类限制抓取行为的恶意若尚未达到应受《反不正当竞争法》规制的高度，则不应通过《反不正当竞争法》来进行规制，但由于该种限制其他主体进行抓取的情形依旧具有一定的不正当性，因此本文将此类情形一并列入“无正当性的robots协议限制情形”项下进一步展开讨论。对于无正当性的原因，笔者将结合微博诉今日头条一案展开论述。第一，从互联网互联互通层面考量，除涉及内部商业秘密、敏感数据以及客户隐私信息外，对于来自用户的普通信息，网站不应当进行限制。否则若任一数据控制方都能对自身的普通商业数据进行限制的话，最终会扰乱互联网市场开放共享的环境，同时也将影响普通消费者获取信息的便捷性。第二，数据控制主体对他人数据抓取行为的限制应具有合理理由，如自身数据属于商业秘密，涉及用户的个人信息或隐私，或是对自身战略布局有重要影响的衍生数据，则通过robots协议进行限制具有合理性。微博与今日头条案件中的数据属于公开数据类型，因此其限制数据的行为不具有合理性。第三，微博方主张其针对今日头条设置robots协议的原因是其认为今日头条是不受欢迎者，今日头条曾经的多项侵权行为均可表明微博对其限制存在合理性，但今日头条一方抓取数据后不合理使用的行为不代表微博方事前的限制行为具有合理性，该种限制类似于互联网企业间所采取的自力救济，通过主体间的限制以保护自身数据权益，但互联网数据控制企业自身对于数据被抓取后的使用行为究竟属于合理使用、创新行为抑或是构成实质性替代难以有准确的界定，私自设限的行为会阻碍数据创新与合理使用的数据抓取者，同时各数据控制主体在通过robots协议进行“自力救济”时对于数据抓取方是否构成侵权行为的认定标准各有不同，因此互联网主体间的“自力救济”行为将扰乱互联网数据环境。第四，从该案判决“字节跳动公司认可其在微梦创科公司设置上述限制声明后，仍然使用‘Toutiaospider’网络机器人抓取了新浪微博的内容”可知，微博并未能事实上限制今日头条的抓取行为。如前文所述robots协议的主要作用仅是起到一个通知的作用，即告知爬虫软件哪些数据允许被爬取，哪些数据是数据控制者不希望被爬取的。该告示并无阻碍恶意爬虫抓取数据的强制力，数据抓取方依旧可以忽视告知的存在而对数据进行抓取。微博作为数据控制方，其设置的robots协议在事实上并不能真正阻碍恶意的数据抓取者的数据抓取行为。第五，根据北京市海淀区人民法院的(2017)京0108民初24530号民事判决可知，微博方对于字节跳动公司将抓取到的微博内容直接用于“微头条”的这一行为向法院提起诉讼并获得了法院支持，由此可见，通过对数据抓取后的使用行为的规制，便足以弥补数据控制方受损之权益，而无需自行另设robots协议对数据的流通共享构成限制。

综上所述，数据控制主体若认为数据抓取方抓取数据后的使用行为损害了其经营利益，可通过法律途径要求数据抓取方停止抓取行为并请求损害赔偿，数据控制主体通过robots协议对抓取行为设限不仅事实上无法阻止他方主体的抓取行为，同时此类丛林法则式的“自力救济”还会造成网络竞争秩序的混乱，数据流通的阻碍最终会损害普通用户的利益，因此对于主观并无恶意的对普通数据设robots协议的限制抓取行为，存在一定的不合理之处。对于该类数据的保护通过法院对数据抓取后的违法使用行为要求赔偿即为已足，私自设robots协议的保护方式对于阻止数据抓取行为的发生并无明显效用。

在上述数据控制方主观不具有恶意的对自身数据设置robots协议的情形下，还应讨论在此情形下造成损失的责任分配问题。若数据抓取者在数据抓取后恶意使用上述数据，则数据使用者的使用行为因具有可责性可能受到《反不正当竞争法》的规制，而作为robots协议设定方的数据控制者，则不构成不正当竞争。典型案例如微博诉今日头条案件中，今日头条抓取数据后的使用行为被认定为构成不正当竞争，而微博的限制行为未被认为构成不正当竞争。另一情形为假若数据抓取方对数据进行抓取后以合理使用或创新使用为目的，此时若robots协议限制行为对数据抓取方造成损害的，则承担一定的赔偿责任，若未造成损害，则无需承担责任。

3 结语

当前，商业数据和信息对于经济社会的推动作用日益凸显，与此同时，商业数据在流通过程中所面临的多主体及其所涉及的复杂利益关系，给当前的司法带来一定的困境。在通过《反不正当竞争法》对纠纷进行裁判时，应在肯定企业享有数据权益的前提下，为商业数据的流转与运用留下充分的空间，在对数据控制企业的经营利益进行保护的同时，还需兼顾到消费者利益和公共利益。既要保护数据收集开发主体的投入，又要防止数据控制方对数据做出垄断，以鼓励和促进数据流通和创新。因此，法院在裁判时不能仅因违反robots协议限制径认定抓取行为违法，还应当从商业数据的种类、数据抓取行为对原告利益所造成的损害、被告获取数据的行为手段、数据控制方设置robots协议的主观意图等方面综合考量。法院的判决应当是一种平衡的艺术，对上述因素的考量，便是对保护数据的收集整理投入、促进数据流通共享、激励数据创新使用等问题的平衡，最终提升社会的总体福利。