一文看懂临床预测模型必会四图：ROC、校准曲线、DCA曲线与列线图

在临床预测模型的研究中构建模型只是第一步。如何证明你的模型能不能“分得清”、“准不准”、“有多准”以及“好不好用”才是决定论文能否发表在核心期刊的关键。在预测模型研究中最常见的四类图形包括ROC曲线评价模型的区分能力校准曲线评价模型预测概率的准确性DCA决策曲线评价模型的临床应用价值与净获益列线图构建个体化预测工具实现可视化评分与风险计算今天我们就来深度拆解预测模型评估中的四大可视化图形ROC曲线、校准曲线、DCA决策曲线、列线图。一、ROC曲线ROC曲线受试者工作特征曲线是评估模型区分度最直观的工具。它回答的是模型能不能准确区分出“患病者”和“健康者”。1、ROC曲线简介ROC曲线示例图如下X轴横坐标为1-特异性假阳性率指本来未患病的人被诊断为阳性即在阴性人群中检测为阳性的概率希望该值越低越好Y轴纵坐标为敏感度真阳性率指实际中患病的人被诊断为阳性的即在阳性人群中检测出阳性的概率希望该值越高越好。理论上若一项诊断试验具有完美的判别能力其ROC曲线应经过坐标图左上角此时敏感度与特异性均达到100%。而当ROC曲线接近对角线时则表明该试验的判别能力接近随机水平无法有效区分患病与未患病个体。因此在ROC曲线分析中曲线越接近左上角通常意味着模型的区分能力越强诊断效能越高。2、AUC值ROC曲线的核心指标是曲线下面积AUC用于评估预测准确性和诊断试验价值。AUC越大预测效果越好AUC越小则预测效果较差。其取值范围为0.5至1对应的判断标准如下AUC0.5说明完全无预测诊断价值预测准确率和猜测效果一样0.5AUC0.7预测诊断价值很低此种情况相对较常见0.7≤AUC0.9预测诊断价值高此种情况较常见AUC≥0.9说明预测诊断价值高此种情况较好AUC1是完美预测没有瑕疵绝大多数情况下不存在完美的预测诊断。3、SPSSAU软件绘制将数据上传至SPSSAU平台在【可视化】模块选择【ROC曲线】将变量拖拽至右侧对应分析框中可选择勾选是否需要“Delong对比”和“联合诊断”结果操作如下图点击“开始分析”按钮即可得到ROC曲线相关结果如下图更多关于ROC曲线的知识与案例解读可点击查看下方帮助手册ROC曲线二、校准曲线如果ROC负责“分得清”那校准曲线就负责“估得准”。它评估的是模型预测的患病概率与实际发生概率的一致性。即模型预测的30%风险实际上是不是真的有30%的人发病1、校准曲线简介校准曲线示例图如下X轴横坐标为模型预测概率将样本按预测风险分成若干组每组的平均预测概率。Y轴纵坐标为实际发生概率每组中实际发生结局的比例。2、校准曲线解读校准曲线图中那条倾斜 45° 的虚线代表预测概率与实际发生概率完全一致例如模型预测风险为 50%实际真的有 50% 的人发病。评判标准曲线越靠近这条虚线模型的校准能力越强。如果在虚线下方代表模型高估了风险模型预言 40%实际只有 30% 发病。如果在虚线上方代表模型低估了风险模型预言 20%实际有 30% 发病。分析上图表现本图中的蓝色实线在左半段稍低于虚线右半段非常贴合说明模型整体校准度良好但在低风险区间有轻微的高估。3、SPSSAU软件操作校准回归通常是在二元logit回归和Cox回归之后使用它二元Logit回归后将预测概率值和真实的01二分类值进行绘制校准曲线Cox回归时将预测的风险函数值与真实的01生存状态值进行绘制校准曲线。例如SPSSAU【二元logit】回归时勾选“保存残差和预测值”操作如下图得到预测值之后进行校准曲线分析。在【实验/医学研究】模块选择【校准曲线】将真实值和预测概率值分别拖拽至右侧对应分析框中操作如下图点击“开始分析”按钮即可得到校准曲线结果更多关于校准曲线的知识与案例解读可点击查看下方帮助手册校准曲线三、DCA决策曲线ROC和校准曲线只解决了数学上的准确性而DCA决策曲线分析解决了临床获益问题。它回答的是医生根据这个模型做决策患者得到的“净获益”是否比盲目治疗更好1、DCA曲线简介DCA曲线描述的是临床决策的“性价比”。阈值指临床干预的临界点如风险达到多少时开始手术。获益值指扣除误诊损失后的净收益。将不同“底线”与其对应的“收益”连成线就成了 DCA。通过分析这条线研究者能科学判断模型在多大的风险范围内具有实用价值从而辅助决策。DCA曲线示例图如下X轴横坐标为阈值概率代表临床医生或患者对干预措施如手术、化疗的心理接受底线。如果你认为某个病有10%的可能性是恶性的就愿意动手术那你的阈值就是0.1。它反映了对风险的承受能力。Y轴纵坐标为净获益代表使用模型进行医疗干预后患者得到的“实际好处”。它综合考虑了“找对人的收益”减去“找错人的损失”。数值越高代表这个模型带来的临床价值越大。很多人被DCA决策曲线分析的定义绕晕其实说白了特别简单它就是帮医生算一笔账——如果你把“要不要干预/动手”的阈值设在X这个模型能帮你多赚到多少“净收益” Y。把所有可能的阈值 X 和对应的净收益Y连起来画成一条曲线就是DCA曲线。它直接决定了你的预测模型在临床上到底有没有用、值不值得用。2、DCA曲线解读在DCA图中系统会自动生成两条极端情况下的基准线作为衡量模型的参照线。Treat None全不干预基准线图中绿色虚线假设对所有患者都不进行任何干预比如都不动手术。因为没有任何投入也没有任何收益所以其净获益永远为 0。它是所有预测模型的底线。如果模型曲线低于这条线说明用模型还不如直接“撒手不管”。Treat All全干预基准线图中蓝色虚线假设对所有患者都进行干预比如不论风险高低全部拉去动手术。这条线通常从左上角向右下角剧烈倾斜。随着阈值概率提高全干预方案的净获益会迅速下降甚至变成负数。它代表了传统医疗中“宁可错杀一千不可放过一个”的极端做法。它展示了盲目过度医疗带来的巨大损失。在解读 DCA 时重点看模型线是否显著高于基准线。只要实线在虚线上方就意味着这个模型在临床实践中是有“盈利”的能够帮医生在减少不必要干预的同时不漏掉真正的病人。3、SPSSAU软件操作在【实验/医学研究】模块选择【DCA曲线】将真实值和预测概率值分别拖拽至右侧对应分析框中操作如下图点击“开始分析”即可得到DCA曲线结果如下图更多关于DCA曲线的知识与案例解读可点击查看下方帮助手册DCA曲线四、列线图列线图是一张把复杂的统计模型比如 Logistic 回归或 Cox 回归变成一张“可视化评分卡”的图。1、列线图简介列线图将模型中的各个影响因素如年龄、性别等分别画成带刻度的横线并给每个因素赋分只需要根据实际情况在图上打分、求和就能一眼看出最终结果发生的概率。列线图示例如下Points单项得分这是全图的“标尺”。列线图会将每个影响因素如性别、年龄对结果的影响大小统一换算为0-100分。线段越长代表该变量对最终结果的影响权重越大。变量轴图中展示了“药物组别”、“性别”、“年龄”等预测指标。找到某位患者的具体情况例如选择“传统治疗”。垂直向上投影到第一行的 Points 轴上读出该项的得分约 98 分。依次读出所有变量的得分。Total Points总得分代表所有变量得分相加后的累计总分。它衡量了患者整体的风险程度。分值越高说明患者面临的负面结局如死亡或发病风险越大。Linear Predictor线性预测值这是统计学模型如 Cox 或 Logistic 回归输出的原始预测值。通常作为中间计算步骤在实际临床应用中较少直接使用主要用于展示模型的数学逻辑。预测结局(10 weeks survival)这是列线图最核心的“预言”结果。将 Total Points 计算出的总分垂直向下投影到此行。如果一位患者的总分为 100 分向下对应到的生存概率约为 0.78 (78%)。这意味着该患者在 10 周后的生存概率预计为 78%。2、SPSSAU软件操作SPSSAU中进行列线图时其共支持二元Logit回归和Cox回归两类模型并且均支持放入定类或者定量数据在【实验/医学研究】模块选择【列线图】操作如下图点击“开始分析”按钮即可得到列线图分析结果如下图针对以上列线图的解读首先计算出各项X因素的得分比如某个病人使用传统治疗方式并且是女性并且50以下那么分别对应的分值Points分别是100、2左右和42左右那么3项Points加和的Total Points为144分左右其对应的‘10 weeks survival’大约为0.69左右也即意味着10周的生存率为69%左右。更多关于列线图的知识与案例解读可点击查看下方帮助手册列线图