系统评价和meta分析质量的评价方法

系统评价和 meta 分析质量的评价方法

（作者:___________单位: ___________邮编: ___________）

作者：张俊华, 商洪才, 张伯礼

【摘要】 循证医学提倡任何健康相关决策的制订均需可靠证据的支

持。系统评价是高质量证据的来源，能为临床医生、患者及其他决策 者提供重要信息，但如果评价员没有很好地掌握系统评价的方法，特 别是 meta 分析使用不当，会产生存在偏倚的、甚至不正确的结论， 误导临床决策。因此，了解评价系统评价和 meta 分析质量的方法， 有利于更好地使用系统评价研究的信息而不致盲从。 【关键词】 系统评价; meta 分析; 质量评价, 卫生保健

基金项目: 国家十五科技攻关项目（No. 2004BA716B01）; 国家自然 科学基金项目（No. 30600834）

Zhang JH, Shang HC, Zhang BL. J Chin Integr Med/Zhong Xi

Yi Jie He Xue Bao. 2008; 6(4): 337 340.

Received January 06, 2008; published online April 15, 2008.

Free full text (PDF) is available at www.jcimjournal.com. Indexed/abstracted in and full text link out at PubMed. Forward linking and reference linking via CrossRef.

DOC 格式论文，方便您的复制修改删减

DOI: 10.3736/jcim20080402Open Access

How to assess the quality of systematic review and

meta analysis

Jun hua ZHANG, Hong cai SHANG, Bo li ZHANG

1. Evidence Based Medicine Center, Tianjin University of

Traditional Chinese Medicine, Tianjin 300193, China

2. Research Center of Traditional Chinese Medicine,

Tianjin University of Traditional Chinese Medicine, Tianjin

300193, China

Abstract: Evidence based medicine advocates that

decision making should be based on the adequate evidence. High

quality systematic review is an important source of information for clinicians, patients, governments and other decision makers in decision making. If reviewers couldn’t master the correct method of systematic review or meta analysis was misused, the inaccurate, biased or misleading outcomes would

be produced. So understanding of the methods of evaluating the quality of systematic review and meta analysis is helpful to make good use of the review’s information.

Keywords: systematic review; meta analysis; quality

assessment, health care

系统评价（systematic review）是一种按照严格的纳入标准，广泛

DOC 格式论文，方便您的复制修改删减

收集关于某一医疗卫生问题的所有研究，对纳入研究进行全面的质量

评价，并进行定性分析，研究间具有足够同质性时进行定量数据合并， 以对该问题进行系统总结的研究方法。 Meta 分析是一种对多个 研究数据定量合成的统计学方法之一，如果一个系统评价中使用 meta 分析的方法，此系统评价可称为“meta 分析”，也称“定量系统评价” ［1］。

系统评价是高质量证据的来源，能为临床医生、患者及其他决策者

提供重要信息［2，3］。然而系统评价作为文献研究的一种方法，使

用不当将影响研究结果的价值，所以系统评价研究的质量也需要评 价，而不是盲目接受。系统评价研究的质量可从方法学质量和报告质 量两个方面进行评价。

1 方法学质量评价及工具

偏倚是影响系统评价质量的主要因素，评价系统评价研究的真实性， 主要是考察研究的方法学质量，即系统评价的实施过程如何对偏倚进

行控制［4］。系统评价的制作过程主要包括 7 个方面：提出问题，制 定纳入和排除标准，收集与筛选资料，评价纳入研究的质量，处理数 据和形成结论，对结论进行解释及系统评价的改进和更新。每个环节 处理不好均会影响研究的质量。

确定一个合理的主题是任何研究顺利开展的保证，如果系统评价的

选题缺乏针对性，将给后面的工作带来困难，特别是影响资料的收集

和数据分析，最终影响整个研究的质量。

根据研究的主题，再制订系统评价研究的纳入和排除标准（包括研

DOC 格式论文，方便您的复制修改删减

究的类型、受试对象的特征、干预措施和结局指标等），如果纳入标

准制定不合理，将导致资料收集的偏差。

资料收集是系统评价中非常重要且较为困难的步骤， 全面”是资料 “

收集的基本原则（包括不同语言，已发表和未发表的研究等），如果

收集不全面，带来选择性偏倚，就会影响研究结果。同时资料筛选过 程也要注意对选择性偏倚的控制，故至少需要两名评价员进行， 再核实一致性。

数据处理包括对数据的提取和分析等内容。数据提取是为数据分析

做准备，如果不能很好地进行，将影响数据分析的结果。系统评价常

采用 meta 分析对数据进行定量的合并，合并的条件是研究的同质性 （包括临床同质性、方法学同质性和统计学同质性），如果纳入的研 究存在异质性，需要分析产生异质性的原因，而不是武断合并。 系统评价属二次研究，受原始研究质量的影响，如果纳入的原始研

究质量较差，将影响结果的价值，故需要对纳入研究进行质量评价，

以考察其结果的可靠性。研究结论要结合数据分析的结果、研究中存 在的问题和纳入研究的质量客观地列述，如果不考虑纳入研究的情况 和潜在的问题，可能得出不正确的结论。 OQAQ

（ Oxman Guyatt Overview Quality Assessment

Questionnaire）量表是用于评价系统评价真实性的最常用工具。OQAQ

共有 9 个方面 10 个条目，前 9 个条目可以评为充分（报告并正确使 用）和不充分（没有报告或不正确），最后一个条目是对整个文献质 量进行打分，评价者根据前面 9 个问题的情况给 1～7 分［4， ］。OQAQ5

DOC 格式论文，方便您的复制修改删减

量表不涉及发表质量和研究的重要性，主要针对系统评价中容易产生

偏倚的几个关键环节（是否进行了全面的文献检索；如何减少在文献 选择、数据提取和质量评价过程中偏倚的产生；对原始研究的质量评 价是否采取恰当的评价工具和方法；研究数据合并是否恰当；研究结 论是否客观）。见表 1。表 1 OQAQ 量表内容（略）

SQAC（Sack’s Quality Assessment Checklist）量表也常被用来

评价系统评价研究的质量［6 8］。SQAC 包括 6 个方面，23 个条目，

对一些细节，如方案设计和数据分析等方面都进行考察。 SQAC 清单

中不仅包括了方法学质量的评价，还包括了一些适用性的评价内容， 不易把握，使用耗时较长。如 SQAC 量表第 1 部分多涉及研究报告的 内容；第 3 部分第 4 条提到资助情况，有许多专家认为药厂赞助的研 究质量较差，可信度低，争论也较多［9，10］；第 6 部分第 2 条，属 于经济学评价的内容，治疗性研究的系统评价中不一定会涉及。见表 2。表 2 SQAC 清单内容（略）

系统评价的结论将是临床决策的重要依据，研究结果能否运用到某

一个具体的问题，是决策者需要关注的重要方面。如在防治性研究的

系统评价中，应该明确表述研究针对的是什么临床问题，纳入的是什 么样的患者（年龄、性别、病情及诊断等），干预措施是什么（试验 组和对照组的具体干预方法）以及观察指标是什么等信息；同时提供 被纳入和排除文献的资料，下结论时结合研究中存在的问题，这样才 能使证据使用者全面了解系统评价研究的问题与需要解决的问题间 的相似性，决定评价结果能否用来解决具体问题。

DOC 格式论文，方便您的复制修改删减

报告质量和方法学质量存在一定的联系，但也有差别。报告好的研 究不一定方法学正确，报告不好的研究也可能具有较好的真实性，但

是低下的报告质量将影响结果的实用性［ 11］。报告质量高，研究的 重复性就越好，其论证强度越高，结果也越可靠。

报告质量评价关注的是研究者对研究方法、过程和研究结果等内容

的报告情况。QUOROM（Quality of Reporting of Meta analysis）

是系统评价和 meta 分析的报告规范，也常被用来评价系统评价的报

告质量。此规范包括系统评价的标题、摘要、前言、材料与方法、结 果、讨论与结论等 6 个方面，共有 18 个条目，具体内容参照文献报 道［12］。

2 讨 论

理想情况下，系统评价和 meta 分析的结果是决策的最高级证据。如 果系统评价研究过程中偏倚没有得到很好的控制，尤其是 meta 分析

使用不当，则会夸大偏倚，得出不正确的结论，甚至误导决策，所以 对其质量评价显得也很必要。除了以上评价工具涉及的内容外，还应 该注意以下几个问题。

2.1 系统评价质量与原始研究质量的关系

系统评价是基于文献的二次研究，但系统评价的质量与原始研究

质量没有直接关系，系统评价的重要作用在于向读者提供全面和客观

的信息，其质量的高低取决于研究过程中对偏倚的控制和报告。如果 系统评价能按照规范制作，且评价了纳入的原始研究存在的问题，并 在讨论和结论中能结合具体问题，客观报告研究结果，那么系统评价

DOC 格式论文，方便您的复制修改删减

属于高质量，只是证据强度较低。

2.2 研究结果的重要性

将系统评价的结果应用到临床决策中，除了考虑方法学质量

和报告质量外，还要考虑结果的临床重要性，包括系统评价纳入的是

否为高质量的研究、结局指标是什么、结果是否精确以及合并效应量 等内容。

若系统评价纳入的是高质量的研究，且数量充足，各研究结果同质

性较好，那结果精确度就越好，证据的强度也较高。系统评价的合并

效应量常为相对危险度（relative risk, RR）、比值比（odds ratio, OR）、危险差（risk difference, RD）、加权均数差（weighted mean difference, WMD）、需要治疗的病例数（ number needed to treat, NNT）和产生较差结局的病例数（number needed to harm, NNH）等。 比较而言，NNT 和 NNH 就更具临床意义。NNT 是指对受试者采用某种 防治措施，较对照组多得到 1 例有利结果需要防治的病例数，NNT 越 小，防治效果就越好；NNH 指对受试者采用某种防治措施，比对照组 多发生 1 例不良反应需要处理的病例数，NNH 越小，安全性越差。系 统评价研究的结局指标同样影响分析结果的应用价值，如研究分析的 是一些关联性较差的中间指标，那么研究结果对临床的指导意义就会 受限，如果结局指标为重大事件的发生率（病死率、严重不良反应发 生率等），即使合并效应量差异无统计学意义，也可能具有重要的临 床意义。

DOC 格式论文，方便您的复制修改删减

2.3 不同专业的影响

由于研究问题的不同和专业的差异，进行质量评价时考虑的内容

也有所侧重。如评价某种中药的临床疗效，应该考虑中医药自身的特

点，如辨证论治，否则可能影响研究结果的应用价值。

3 小 结

系统评价研究者应具备一定的临床流行病学知识、临床专业知识、 循证医学知识以及外语、文献检索、计算机应用能力等。细节决定质

量，为保证系统评价的质量，对评价员进行培训是必要的，特别是在 方法学方面。

总之，系统评价是文献研究的方法之一，系统评价研究只有按照一

定的规范进行，才能获得更多有价值的信息，更好地为卫生决策服务，

并使卫生决策更加科学化。 【参考文献】

1 Sackett DL, Straus SE, Richardson WS, et al.

Evidence based medicine: how to practice and teach EBM. 2nd

ed. London: Churchill Livingstone. 2000: 1 50.

2 Jadad AR, Cook DJ, Jones A, et al. Methodology and

reports of systematic reviews and meta analyses: a comparison

of Cochrane reviews with articles published in paper journals. JAMA. 1998; 280(3): 278 280.

based

DOC 格式论文，方便您的复制修改删减

3 Sunny Downstate Medical Center. Guide to research

methods

— the evidence pyramid.

http://library.downstate.edu/EBM2/2100.htm.

4 Oxman AD. Checklists for review articles. BMJ. 1994;

309(6955): 8 651.

5 Senn S. The quality of systematic reviews. Review is

biased. BMJ. 2000; 321(7256): 297.

6 Sacks H, Berrier J, Reitman D, et al. Meta analyses

of randomized controlled trials. N Engl J Med. 1987; 316(8):

450 455.

7 Sacks HS, Reitman D, Pagano D, et al. Meta analysis:

an update. Mt Sinai J Med. 1996; 63(3 4): 216 224.

8 Sun FH, Wei SY, Xu ZM, et al. Quality evaluation of

meta analysis for randomized controlled trials. Yao Wu Liu

Xing Bing Xue Za Zhi. 2002; 11(1): 31 36. Chinese with abstract in English.

DOC 格式论文，方便您的复制修改删减

孙福红, 魏水易, 许自明, 等. 随机对照试验 Meta 分析的

质量评价. 药物流行病学杂志. 2002; 11(1): 31 36.

9 Jadad AR, Moher M, Browman GP, et al. Systematic

reviews and meta analyses on treatment of asthma: critical

evaluation. BMJ. 2000; 320(7234): 537 0.

10 Altman DG, Decks JJ, Clarke M, et al. The quality

of systematic reviews. High quality reporting of both

randomised trials and systematic reviews should be priority. BMJ. 2000; 321(7256): 297.

11 Moher D, Jadad AR, Nichol G, et al. Assessing the

quality of randomized controlled trials: an annotated

bibliography of scales and checklists. Control Clin Trials. 1995; 16(1): 62 73.

12 Moher D, Cook DJ, Eastwood S, et al. Improving the

quality of reports of meta analyses of randomised controlled

trials: the QUOROM statement. Quality of Reporting of

Meta analyses. Lancet. 1999; 3(9193): 16 1900.