推荐分级的评估、制订与评价(GRADE)方法学家的培训与认证

王子君 姚 亮 刘 练 王 浩 周 奇 王小琴 陈耀龙

·循证医学方法学·

推荐分级的评估、制订与评价(GRADE)方法学家的培训与认证

王子君1，7姚 亮2，7刘 练1王 浩1周 奇3王小琴4,5,6陈耀龙4,5,6

推荐分级的评估、制订与评价(GRADE)工作组正式成立于2000年，截至2017年初，包含循证医学专家、指南方法学家、系统评价制作人员、医务人员、期刊编辑、卫生决策和管理人员等在内的多学科的成员已超过300多名[1]。GRADE将证据质量分为高(A)、中(B)、低(C)和极低(D)4级[2]。研究的偏倚风险、不一致性、不精确性、间接性和发表偏倚可能会降低证据的质量，大效应量、存在剂量-效应关系和负偏倚可能会升高证据质量。GRADE将推荐强度分为强(1)和弱(2)级[2]。对于证据质量和推荐强度的关系，也从简单的直接对应(高质量证据对应强推荐，低质量证据对应弱推荐)到将二者分开，提出决定推荐强度的因素除了证据质量外，还应该考虑资源利用、利弊平衡和患者偏好与价值观等。由于GRADE系统相对于之前的分级系统更加系统、全面、透明和具有可操作性[3]，全世界已经有超过100多个机构和组织将其作为指南制订中证据分级的标准。本文对GRADE工作组提出的如何培养、培训和认证GRADE方法学家的原则、要求和规定进行解读，进而为我国对GRADE感兴趣或有志于成为GRADE方法学家的人员提供参考。

1 GRADE方法学家的角色与培训

1.1 GRADE方法学家在指南制订中的角色 GRADE方法学家的主要职责是参与指南的制订，一般会参与4个方面的工作：①结构化指南关注的临床问题，这些问题后期用来制定指南推荐意见，一般按照PICO的形式进行解构。②对来自一个或多个系统评价的证据体进行证据质量分级。③协助指南小组形成推荐意见。④进行GRADE教学。GRADE方法学家完成指南中GRADE的相关工作主要包括：核对和确保GRADE证据分级表无差错；对每一个结局指标的结果进行合理总结；确保对GRADE每个升降级因素的分析均是在GRADE的理论框架内进行，并且分级过程透明可靠。而在基于证据形成推荐意见环节，高质量的工作包括应用清晰的框架形成推荐意见，准确评价每个结局指标的证据质量是否能够支撑推荐意见，并确保推荐意见简明、扼要和具有可操作性。此外，还需确保使用统一的GRADE符号，表明推荐意见的方向和推荐强度，以及对推荐意见进行合理的解释。

1.2 GRADE方法学家培训与认证的必要性 研究表明，在应用GRADE的过程中，接受过培训或有过相关背景人员的工作质量更高。研究显示[4]，通过GRADE培训，卫生研究专业的研究生针对一些重要结局指标证据质量分级结果的一致程度平均可达到0.66(95%CI：0.56～0.75)。此外，GRADE中国中心研究人员开展的一项预试验结果显示[5]，2名GRADE分级人员分级结果的一致性可达到0.75(95%CI：0.50～0.89)，随着分级人员数量的增加，一致性也随之增加。在另一项于指南制订小组成员中进行的1 h GRADE培训的研究中也得出了类似的结果[6]。

此前并没有机构对GRADE方法学家进行资格认证，要求这些专业人员应该具有特定的学术背景或培训，也没有相应的评价工具或标准来评价并遴选GRADE方法学家。而这些问题对依赖GRADE方法学家来协助系统评价制作和指南制订的机构而言至关重要，同时对系统评价和指南的使用者也有影响。为探索并解决该问题，WHO指南评审委员会联合GRADE指导小组、GRADE中心和协作组织、Cochrane协作网共同研发了专门评价GRADE方法学家的资格认证量表(简称GRADE资格认证量表)[7]。其目的是为指南制订者遴选具有一定GRADE知识和技能且具有相关经验的GRADE方法学家，并进一步为制订者制订高质量指南提供指导。该量表的目的包括两个方面：①为指南制订者评价GRADE方法学家的知识水平提供判断标准。②为从事指南、GRADE相关工作的专业人员水平设定最低标准，为指南制订者根据自己的需求遴选合适的GRADE方法学家提供建议。需要注意的是，该量表的结果并不代表GRADE资历证书。

2 GRADE方法学家认证方法

如果想要高质量完成GRADE分级的相关工作，除了要求GRADE方法学人员掌握基本的统计学、研究设计和临床流行病学的知识之外，还需要具备在GRADE具体工作过程中的其他技能(表1，表2)。GRADE资格认证量表包含3个环节：①研究人员自己报告GRADE培训和相关经历(自我报告)；②通过具体的案例评估研究人员对GRADE分级的熟练程度(案例评价)；③独立评估研究人员的理论知识和熟练程度，提出作为合格GRADE方法学家的最低要求(正式评估)。这3个评估环节可以通过与资深GRADE方法学家或指南制订小组中受过GRADE系统培训的研究人员进行邮件沟通或其他形式的交流实现。

2.1 自我报告 自我报告可以用来初步评价研究人员在GRADE方面的资历。为了便于操作，研究人员开发了一个评估清单(表1)，用于对单个研究人员或者研究小组进行评估。用户可以根据各自指南和系统评价关注的问题对清单中的一些问题进行修改，其中关于参加培训的条目需要通过参会证明或者结业证书来说明。研究人员不建议对每个条目赋以分值，因为每个条目的权重很难区分。

表1 GRADE方法学家资历评估清单

注 X：该经历或技能是完成该项GRADE工作内容必须具备的；-：该项经历或培训对完成GRADE工作内容有帮助但不是必须的；a：如果和指南主题相关，则是需要的

2.2 案例评估 为了更好地评估GRADE方法学家结构化PICO问题和评估证据质量(包括相关教学)的能力，指南制订者可以要求提交之前完成的GRADE证据分级表。评估者也可以给出1个现有的系统评价并要求GRADE方法学家独立完成证据表。这样可以针对具体的研究问题或研究设计来考察GRADE方法学家。此时指南制订者需要结合自己的GRADE知识评价分级结果，或者邀请1个外部资深GRADE专家参与评估。

表2 在指南中应用GRADE相关工作需要的培训或相关经验

注 X：该经历或技能是完成该项GRADE工作内容必须具备的；-：该项经历或培训对完成该项GRADE工作内容是有帮助的但不是必须的；a：包含不同领域专家有帮助但不是必须的；b：如果和指南主题相关；c：如果和学生的需求相关

2.3 正式评估 正式的GRADE资历评估可以通过笔试、口试或根据他们在形成推荐意见的指南会议中的表现来评估。在正式评估前也可以对GRADE专业人员之前的证据分级案例进行评估。尽管这种评估可以反映一些问题，但是目前不推荐，主要原因有以下几个方面：①研发一种适用于不同文化、语言、地区和不同类型指南的评价工具具有挑战性。②建立专门评估并跟踪结果的团队存在困难。③在海量电子资源和即时通讯时代，笔试结果也难以反映研究人员的真实水平。④评估工具需要随着GRADE方法的发展而持续更新，需要更多的人力。⑤测试可能会影响到研究人员学习GRADE的积极性，尤其对那些低收入国家和非英语国家的研究人员。⑥评估工具的产生可能会导致一些商业方面和其他帮助“通过测试”的利益冲突出现，其目的可能并不是学习和应用GRADE方法学。

2.4 评价GRADE方法学家资历的其他因素 评价GRADE方法学家资历中的其他潜在因素也很重要。如该人员是否接受过临床培训或具有临床背景？是否具有公共卫生、试验设计实施以及项目评估方面的学位或研究背景？是否具有信息科学、生物统计、流行病、经济评估、系统评价和指南方面的培训或研究经历？以上因素的考虑主要取决于系统评价和指南关注的领域。正如表1所述，针对不同类型的研究、系统评价和指南的问题，需要有不同类型和不同研究背景的专业人员才能正确应用GRADE方法。在某些研究领域，如诊断试验或者非随机研究中，GRADE有其独特的应用方法；但是在其他的研究领域，如病因、预后以及定性研究中，GRADE的应用方法尚不成熟。这种情况下，指南制订者和GRADE方法学家在应用GRADE的过程中可能存在一些差异。在这些尚不成熟领域中的GRADE的理论框架完善之前，建议指南制订者根据指南的需求选择合适的GRADE方法学专家，并和GRADE方法学家讨论如何在这些领域应用GRADE，确保新提出的GRADE方案建立在现有GRADE方法学的框架之上。虽然公共卫生、卫生政策和卫生系统中指南制订需要的GRADE方法学家不一样，但遴选GRADE方法学家的原则是一致的。总之，指南制订机构需要具有相应研究背景的GRADE方法学家的协助来共同完成指南。

GRADE方法学家需要理解系统评价和指南关注的主题。如果GRADE方法学家不是相关领域的专家，那么他们需要了解这个领域的研究内容，并需要快速了解这个领域的研究类型、结局指标以及潜在的偏倚、争议和不确定的问题。这种了解对分析关键问题，解释证据、证据质量分级以及确保呈现结果的合理性很有必要。GRADE方法学家需要大致清楚哪些干预措施有效、哪些无效。而且就部分系统评价和指南而言，系统评价制作者和GRADE方法学家也可以从这些指南涉及的地域、文化和社会经济学方面获益匪浅。此外，一些指南制订机构，如WHO，在制订指南遴选GRADE方法学家的过程中还需要考虑不同地区人群的公平性以及性别平衡。最后，GRADE方法学家的其他能力对指南制订也是至关重要的，如协作能力、达成共识的能力、尊重不同的价值体系(无论指南制订机构、指南制订小组、指南使用者还是普通大众均能够从指南中获益)、使用指南的意愿、改编新方法以及高效工作和按规定时间完成任务等，这些能力对指南项目均是必要的。

3 未来研究与展望

任何行业的专业资格认证，都需经过数年的发展，才能建立起一套完整的体系。对于GRADE来说，在科学、准确认证方法学家方面目前仍然存在诸多挑战，除了以上介绍的量表，未来还应该关注应用GRADE方法生产高质量内容(包括GRADE证据概要表以及从证据到推荐意见的转化)所应该具备的技能和经历。以下几个方面可能是未来研究应该关注的重点：①GRADE方法学家的哪些能力与证据表的完成质量有关，这些相关的因素应该在GRADE资格认证量表中涉及，如参加GRADE培训、有临床流行病学、生物统计学和其他相关的培训。②指南制订相关工作的质量应该如何评价，如指南制订小组成员的满意度、指南内容的质量，推荐意见类型(如基于低和极低质量证据形成强推荐的比例)，尤其在中低收入国家、资源匮乏的国家以及非英语地区。③高效掌握GRADE相关技能的方法，以及如何评价和提高这些技能。④GRADE资格认证量表提出的参与GRADE相关工作的最低标准，是否可以完成高质量的GRADE证据概要表、GRADE证据决策表和指南工作。具体评价的指标可能包括指南制订小组和指南专家组的满意度，系统评价和指南的质量以及指南制订效率等。

合格的GRADE方法学家是循证指南制订成功的关键。GRADE资格认证量表对GRADE方法学家的相关知识、技能、培训和研究经历进行了说明，可帮助遴选合格的GRADE方法学家。其他信息，如之前完成的GRADE证据概要表和参考资料，也具有重要价值。可以这样理解，对于使用GRADE资格认证量表评价GRADE方法学家资历的推荐强度为“弱”。此外，可根据具体环境和需求对GRADE资格认证量表进行适当改编。

此外，GRADE资格认证量表使用的目标人群还可扩展到从事指南工作之外的个人和组织，如期刊编辑也可以用GRADE资格认证量表评价同行评审专家。当然，为促进未来在指南制订中应用GRADE方法，还有很多工作需要完成，GRADE工作组仍需要开展更多的GRADE相关会议和培训，更新GRADE方法学资料和软件，以及完善GRADE手册等。

[1] 陈耀龙, 杨克虎, 姚亮. GRADE系统方法学进展. 中国循证儿科杂志, 2013, 8(1): 64-65

[2] Yoshida M, Kinoshita Y, Watanabe M, et al. JSGE clinical practice guidelines 2014: standards, methods, and process of developing the guidelines. J Gastroenterol. 2015, 50(1): 4-10

[3] 袁金秋, 刘雅莉, 杨克虎, 等. 系统评价再评价纳入研究的质量评价方法调查. 中国循证医学杂志, 2012, 12(2):238-242

[4] Mustafa RA, Santesso N, Brozek J, et al. The GRADE approach is reproducible in assessing the quality of evidence of quantitative evidence syntheses. J Clin Epidemiol, 2013, 66(7): 736-742

[5] Shen X, Chen Y, Yang K. The agreement for grading the quality of evidence using GRADE system. 20th Cochrane Colloquium, Auckland, New Zealand: The Cochrane Collaboration, 2012

[6] Kumar A, Miladinovic B, Guyatt GH, et al. GRADE guidelines system is reproducible when instructions are clearly operationalized even among the guidelines panel members with limited experience with GRADE. J Clin Epidemiol, 2016, 75: 115-118

[7] Norris SL, Meerpohl JJ, Akl EA, et al. The skills and experience of GRADE methodologists can be assessed with a simple tool. J Clin Epidemiol, 2016, 79: 150-158

2017-09-14

2017-09-27)

(本文编辑：张崇凡)

国家自然科学基金-中西医结合领域在线证据质量分级系统的研发：81503459

1 兰州大学第二临床医学院 甘肃兰州，730000；2 甘肃省人民医院临床循证医学研究所 甘肃兰州，730000；3 兰州大学第一临床医学院 甘肃兰州，730000；4 兰州大学医学院循证医学中心 甘肃兰州，730000；5 GRADE中国中心 甘肃兰州，730000；6 世界卫生组织指南实施与知识转化合作中心 甘肃兰州，730000；7 共同第一作者

陈耀龙，E-mail:chenyaolong21@163.com

10.3969/j.issn.1673-5501.2017.05.014