传统meta分析中文献质量评价工具的合理选择

许 吉 邓宏勇

上海中医药大学科技信息中心,201203上海

meta分析(meta-analysis)是对临床原始研究的二次综合分析与评价,是系统评价(systematic review, SR)中一种定量合并结果的方法,其结论质量不仅依赖于科学的meta分析操作流程,更依赖于原始研究本身的质量。多数meta分析以发表的原始研究文献为数据来源,因此对纳入的临床研究文献进行质量评价是其不可或缺的环节。临床研究文献质量包括内部真实性、临床重要性、外部真实性、报告质量等方面,其中内部真实性反映的是研究方法学质量,即偏倚风险(risk of bias, RoB),是meta分析文献质量评价的主要内容。本文重点讨论系统评价中最普遍的情况,基于干预性临床研究文献的meta分析,即所谓传统meta分析中偏倚风险评价的相关问题。

1 偏倚风险评价工具

偏倚(bias)又称系统误差(systematic error),是指研究结果与真实情况之间存在的系统性偏差[1]。偏倚风险即研究的设计、实施、测量、分析等方法学因素导致结果误差的可能性,对偏倚风险进行评价,主要是判断偏倚来源是否存在、偏倚的大小和方向等。偏倚风险评价工具采用定量评价量表(scale)或定性评价领域/条目/清单(domain/item/checklist)的形式,对临床研究文献的方法学质量进行评价,前者如Jadad量表,后者如Cochrane RoB评价工具等。偏倚风险评价相关研究最早可以追溯到1961年[2],目前国际上已经发布了上百种偏倚风险评价工具应用于不同的研究类型[3],其中部分较常用的工具见表1。

表1 传统meta分析常用偏倚风险评价工具

1.1 随机对照试验

随机对照试验(randomized controlled trial, RCT)是干预性临床试验的“金标准”,也是传统meta分析纳入的主要研究类型。随机对照试验的偏倚风险评价工具较多,其中Cochrane协作网发布的偏倚风险评价工具应用最为广泛。2008年,Cochrane协作网通过《Cochrane系统评价手册》正式发布并推荐用于制作Cochrane系统评价的偏倚风险评价工具(RoB),2011年进行了更新[13]。RoB从选择偏倚(随机序列产生和分配隐藏)、实施偏倚(研究对象和干预实施者盲法)、检测偏倚(结局测量评价者盲法)、失访偏倚(不完整结局数据)、报告偏倚(选择性报告)和其他偏倚6个领域,对RCT偏倚风险进行评价,得到定性结果(低风险、高风险和不清楚),并以“risk of bias graph”和“risk of bias summary”图形式呈现。RoB相对于既往评价工具在科学性和实用性上有更好的表现,因此,即使是非Cochrane系统评价也多采用,从而成为了当前meta分析的文献质量评价主流方法和工具。RoB的特点是克服了它之前评价工具项目不完整或过于复杂、量表评分权重不合理等问题,但同时也存在未明确区分RCT研究设计类型等不完善之处。为此,Cochrane方法学工作组对RoB进行了更新,于2016年推出了偏倚评价工具2.0版本(RoB2)。RoB2是一个领域评价式(domain-based evaluation)工具,其特点是涵盖平行设计、交叉设计和整群设计,明确了RoB中一些容易造成混淆的概念,并调整了部分评价项目[14]。尽管RoB2在全面性和科学性上得到了提升,但其操作复杂性也相应提高,同时RoB2评价对象是结局而非单个研究,因此在实际应用中并不能完全取代RoB,而是形成了当前两者共存的局面。

在RoB之前,Jadad量表曾经在包括meta分析等需要评价RCT文献质量的应用场景中被广泛使用,但因为存在评价内容不够全面等问题,目前已较少使用。

1.2 非随机干预性研究

出于伦理、外部真实性等原因,未采用随机分组进行观察的一类干预性研究,称为非随机干预性研究(non-randomised studies of the effects of interventions, NRSI),如对照试验(controlled trials)、队列研究(cohort study)和病例对照研究(case-control study)等,NRSI也是传统meta分析重要的数据来源。纽卡斯尔-渥太华量表(the Newcastle-Ottawa scale,NOS)是评价队列研究和病例对照研究最常用的工具,NOS充分考虑了非随机分组观察性研究的特点,以及不同设计间的共性和差异,从人群选择性(selection)、组间可比性(comparability)、结局(outcome, 队列研究)或暴露(exposure, 病例对照研究),3方面共8个条目进行半定量评价。2016年,Cochrane发布了其NRSI偏倚风险评价工具(ROBINS-I)。作为RoB工具家族成员,ROBINS-I和RoB2在评价思路和方法上有一定相似性,如设置7个评价领域,每个领域对应多个信号问题(signaling question),通过信号问题判断偏倚风险等级[15]。ROBINS-I被Cochrane推荐为非随机对照试验系统评价和meta分析的RoB工具,普遍适用于对照试验、队列研究、病例对照研究等非随机干预性研究。

除上述较明显区分研究类型的评价工具外,还有一些工具适合多种研究类型,如Downs-Black清单可同时应用于RCT和NRSI,但其在评价效能、操作便利性和接受度等方面还存在差距。此外,牛津大学、JBI和美国国立卫生研究院等国际循证研究机构,也发布了系列偏倚风险评价工具,在一定范围内得到使用。

2 常见误用情况及分析

偏倚风险评价的重要性不言而喻,正确掌握使用合适的工具方法是进行科学评价的基础。由于偏倚风险评价工具众多,且操作简繁不一,多数需要评价人员经过适当培训和具备一定的专业知识。因此,在实际meta分析过程中,经常会在偏倚风险评价环节出现处理不当情况,以下结合案例进行分析。

2.1 未对纳入文献进行偏倚风险评价

案例1。“PLoS ONE”(2009)报告了一项评估出生体质量与青少年和成人闲暇时间体育活动关系的队列研究meta分析。该meta分析纳入了13项队列研究,主要是未发表数据,作者宣称采用了一种“优于标准meta分析和系统性文献评价的方法”,其方法学和结果部分均未报告偏倚风险评价的相关内容。

该案例没有对纳入的13项临床研究进行偏倚风险评价,这一环节的缺失可能对meta分析的最终结果产生负面影响。随着meta分析方法逐渐成熟和普及,近年发表的系统评价和meta分析文献,缺失偏倚风险评价的情况相对少见。

2.2 采用不合理/不透明偏倚风险评价方法

案例2。“Women′s Health”(2007)报道了一项评估激素治疗对绝经后妇女认知功能影响的meta分析,文章未描述偏倚风险评价方法,但结果表格中有随机和盲法的内容,且将随机区分为充分随机化(A类)和随机化不明确(B类)2种结果。

上述案例中,作者未详细透明地描述所采用的偏倚风险评价方法,报告结果也较简单,因此无法有效评估纳入文献质量。不合理使用偏倚风险评价方法的一种情形,是对评价对象使用不恰当的评价工具,如采用专为RCT类型设计的Cochrane RoB评价队列研究或病例对照研究,或采用评价合并后证据体质量的GRADE工具评价文献质量等;还有少数文献混淆了报告规范和评价工具的区别,将临床试验报告规范CONSORT声明用于临床研究的质量评价。

2.3 错误使用偏倚风险评价方法

案例3。《风湿病年鉴》(Annals Of The Rheumatic Diseases)杂志2009年发表一篇meta分析,研究利妥昔单抗、阿巴西普和阿那金治疗类风湿性关节炎期间导致严重感染的风险。文章在方法学部分声明是按照Cochrane系统评价手册完成meta分析,并采集了原始研究的方法学内容[单盲或双盲、是否采用意向性分析(ITT)、完成随访人数],但没有完整报告,也没有进一步描述偏倚风险评价方法和结果的内容。

案例4。2022年发表在某刊的一篇meta分析,研究克霉唑阴道给药制剂治疗念珠菌性阴道病的疗效、安全性和经济性。该研究“方法学质量评价”描述“按照Cochrane系统评价员手册(5.0版)对纳入试验进行方法学质量评价”,“评价条目包括:①随机分配方法;②分配隐藏;③研究者/患者盲法;④结局测量者盲法;⑤结局数据的完整性;⑥选择性报告结果;⑦其他偏倚来源,每条1分共7分。”对应结果“所有文献质量评分高于1分。”

Cochrane RoB是一个定性偏倚风险评价工具,包含6个评价条目,针对每个条目给出“高风险/低风险/不清楚”三者选一的评价结果,并以图文形式进行结果呈现。案例3采集的信息不足以进行RoB评价,且没有完整地报告结果;案例4未严格按照RoB评价方法进行操作,采用定量方式对评价结果进行打分,且以总分形式评价文献质量。以上2种情况均是对RoB工具的误用,无法充分发挥该工具的评价功用和效能。

综上所述,传统meta分析中文献质量评价的重要性不可忽视,其首要任务是选择合适的偏倚风险评价工具,同时必须严格执行评价标准和流程,确保评价结果的真实性和可靠性,为临床实践和决策提供有力的证据支持。