在最后一期中，我们介绍了在研究疾病预测模型的质量时，我们经常注意两个维度，一个是预测模型的区分度，它反映了模型是否能够区分患者和非患者；另一个维度是预测模型的标定，反映了模型的预测结果与实际情况的一致性。

(点击查看： 你的预测模型靠谱吗？详解区分度和校准度的SPSS操作！ )那么对于两个疾病风险预测模型，应该选用哪一个模型更靠谱呢，应该 如何比较两个疾病模型的预测能力呢？ 本期内容小咖就来向大家介绍一个老朋友 AUC 和一个新朋友 NRI 。

ROC曲线及其AUC

首先，我们来回顾一下ROC曲线。在诊断试验中，通常根据试验指标的判断结果和金标准诊断结果，按下表所示排列一个2×2的表格，然后计算出诊断试验中的两个重要指标，即灵敏度和特异性。(戳链接:你搞清楚评价诊断测试的两大指标了吗？（

敏感度=A/(A+C)，即真阳性率，反映的是实际患病的人被正确判断为阳性的比例。

特异性=D/(B+D)，即真阴性率，反映的是实际无患者人群的比例。

如果测试指标是一个连续变量，我们可以把测试指标分成不同的切点，判断为切点以上为正，切点以下为负。每个切点对应一个灵敏度和特异性，然后以灵敏度为纵坐标，1-特异性为横坐标绘制图形，这样就可以得到我们熟悉的接收机工作特性曲线(ROC曲线)。

从ROC曲线可以看出，随着灵敏度的增加，1-特异性增加，即特异性降低，反之亦然。当灵敏度和特异性相对最优时，位于ROC曲线左上角的切点可以作为合适的诊断界限，即下图中的Y点。同时，为了评价测试指标的诊断能力，可以进一步计算曲线下面积(AUC)。AUC越大，检验指标的诊断能力越好。

除了在经典诊断试验中使用外，还可以在建立疾病预测模型后扩展ROC曲线和AUC，以评估和判断疾病预测模型的预测能力。

比较两种不同的预测模型时，AUC越大，模型对疾病发生概率的预测能力越好(戳链接:如何评价疾病预测模型？看熟悉的ROC曲线)。两种模型的AUC比较采用z检验，统计量z近似服从正态分布，计算公式如下:

SE1和SE2分别是AUC1和AUC2的标准误差。

虽然ROC曲线及其对应的AUC在疾病预测模型的评价中得到了广泛的应用，但由于AUC是以ROC曲线上的所有点作为边界值来计算的，所以在实际临床应用中，我们通常只选择合适的诊断分界点，关注的是这个分界点下的诊断能力，而不是曲线下的面积。

同时，当我们比较两个模型的预测能力时，特别是当我们想比较模型的预测能力在引入新的指标后是否有所提高时，新增加的指标有时很难显著提高AUC，AUC的增量不明显，其意义也不容易理解。在这种情况下，我们需要使用另一个指数来比较两个模型的预测能力-净重新分类指数(NRI)。

净重新分类指数NRI

与ROC曲线及其AUC相比，NRI更关注某一设定切点处正确分类的研究对象数量的变化，常用于比较两种模型预测能力的准确性。

简单来说，首先旧模型会将受试者分为患者和非患者，然后引入新的指标形成新的模型，将受试者细分为患者和非患者。

此时对比新旧模型的分类变化，可以发现一些研究对象在旧模型中被错误分类，但在新模型中被修正，并被分类到正确的组中。同时，一些研究对象在旧模型中被正确分类，但在新模型中被错误分类，因此研究对象的分类在新老模型中会发生变化。我们用这种重新分类现象来计算净收入。

所以如何计算NRI值其实很简单。首先，我们根据实际情况将受试者分为两组，即患者组和非患者组。然后，根据新旧模型的预测分类结果，我们将它们排列成两个2×2的表格，如下表所示。

我们主要关注重新分类的研究对象。从表中可以看出，在患者组(总数为N1)中，B1人被新模式正确分类，C1人被旧模式错误分类。因此，与旧模型相比，新模型正确分类的比例为(B1-C1)/N1，即对角线以上的比例-对角线以下的比例。

同样，在非患者组(总人数为N2)，C2人被新模式正确分类，B2人被新模式错误分类，因此新模式与旧模式的比例为(C2-B2)/N2，即对角线以下的比例——对角线以上的比例。

最后，结合患者组和非患者组的结果，与旧模型相比，新模型的净重分类指数NRI为(B1-C1)/N1+(C2-B2)/N2

如果 nri >: 0 ，则是一个积极的改进，表明新模型比旧模型具有更好的预测能力。如果nri

此外，NRI公式可以推导如下:

NRI =(新灵敏度-旧灵敏度)+(新特异性-旧特异性)=(新灵敏度+新特异性)-(旧灵敏度+旧特异性)

问题转化为两个熟悉的指标:敏感性和特异性。如何比较前一篇文章中两种方法的敏感性和特异性？参见示例教程！”，讨论了复杂的情况:

如果敏感性新>:敏感性旧，特异性新>:特异性旧，可以认为新模型优于旧模型，相当于NRI >:0；

如果灵敏度是新的

如果新模型和旧模型在敏感性和特异性上存在差异，但方向不一致，则应采用Joden指数(敏感性+特异性-1)进行判断。此时，NRI相当于新旧模型的乔丹指数之差，因此NRI在比较两种模型的预测能力时更为全面。

研究示例1

如果不清楚，也没关系。我们将通过模拟一个研究实例来介绍如何在实际研究中计算NRI。假设研究样本中有180名患者和415名非患者，研究人员打算在旧模型中添加新的生物标志物后评估新模型预测能力的提高。

在本研究的180名患者中，旧模型预测为阳性的148名患者中有8名被新模型错误地分类为阴性，而旧模型预测为阴性的32名患者中有30名被新模型正确地分类为阳性。在415名非患者中，旧模型预测为阴性的360人中有15人被新模型错误地分类为阳性，而旧模型预测为阳性的55人中有32人被新模型正确地分类为阴性。数据排列在下表中。

根据上述NRI公式，计算如下:

NRI =(B1-C1)/N1+(C2-B2)/N2 =(30-8)/180+(32-15)/415 = 16.3%

Z=4.292，P < 0.001，具有统计学意义，说明加入新的生物标志物后，新模型的预测能力有所提高，正确分类的比例提高了16.3%。

研究示例2

在第一个例子中，我们将结果变量设置为我们是否生病的二元变量。但有些情况下，直接根据预测模型来判断我们是不是生病太过绝对，给出了未来患病的概率值。研究人员可能更关心风险的大小。例如，根据预测的风险概率将受试者分为三组，以便采取不同的干预措施。

此时，当结果变量分为三类或三类以上时，ROC曲线呈球形，难以直观地绘制和比较两种预测模型的AUC。但是NRI可以很好的解决这个问题，这也是NRI在实际分析中最常用的地方。

结合2008年发表在Stat Med杂志上的一篇文章“评估新标志物的额外预测能力:从ROC曲线下的区域到再分类及更高”，基于著名的弗雷明汉心脏研究，研究人员比较了在经典模型中添加HDL-C指数后，预测未来10年冠心病风险的新模型的改进。

首先，对新老模型的ROC曲线进行比较，结果显示新老模型的AUC分别为0.774和0.762。加入HDL-C后，新预测模型的AUC增加了0.012，差异不显著(P=0.092)，表明新模型没有显著改善。

随后，研究人员进一步计算了未来10年冠心病事件的风险概率

根据上面的NRI公式，我们可以计算出:

NRI =[(15+0+14)-(4+0+3)]/183+[(148+1+25)-(142+0+31)]/3081 = 12.1%

Z=3.616，P < 0.001，具有统计学意义，说明加入新的生物标志物后，新模型的预测能力有所提高，正确分类的比例提高了12.1%。

可以看出，当两个模型的AUC没有统计学显著差异时，两个模型的区分能力是相似的。但是，经过对NRI的进一步计算，会发现新模型正确细分的能力有了显著的提高，所以需要和NRI一起判断AUC。

参考:

[1]统计医学.2008年1月30日；27(2):157-72 .

免责声明:

本微信公众平台发布的原创或转载内容不代表米勒之声的观点或立场。本文涉及的用药、疾病诊断和治疗仅供参考。

微信视频预览查看
本文由“医咖会”授权转载