|
本帖最后由 kexue 于 2022-4-28 16:20 编辑
临床预测在临床中应用越来越多,本文梳理了关于临床预测模型的10个常见问题,供您参考。
1.临床预测模型有几类?临床预测模型是指利用多因素模型估算患有某病的概率或将来某结局发生的概率,主要可以分为诊断模型和预后模型;诊断模型主要是基于研究对象的临床特征,预测当前患有某种疾病的概率,多见于横断面研究,是诊断试验的延伸;预后模型是具有共同特征的一类研究对象,预测其未来疾病复发、死亡、伤残等转归情况的概率,多见于队列研究。
2.建立预测模型需要什么步骤(1)明确研究问题,选择研究类型确实研究的问题是否适合用预测模型回答,然后再根据诊断或预后分类,选择不同的研究设计类型(见问题1);(2)数据集准备既可以前瞻性收集数据,也可以利用已有数据进行分析,对于已经证实对结局有重要影响的变量一定要收集,否则可能影响预测模型的准确性;预测变量不要求预测变量与结局存在因果关系,但如果有因果关系,其外部验证时的准确性可能会更高;缺失值超过20%的变量不建议纳入模型,有缺失值的变量要进行缺失值填补,否则有缺失值的病例不会纳入分析。(3)变量处理变量筛选应结合临床与回归分析的结果共同决定。变量筛选首先要依据临床经验,对结局有重要影响的变量,要尽量纳入模型;建立模型中p>0.05的变量一般可以剔除,剔除后对预测模型不会产生较大影响;p<0.05的变量也不是全部都需要保留,要根据临床经验、是否因果关系、临床易获得性和剔除后对于模型的影响等方面综合决定。在保证模型预测效能的基础上,模型越简单越好,可解释性越高越好,指标越容易获取越好。(4)建立模型根据结局变量选择建立模型的方法,二分类结局一般使用logistic回归,生存结局一般选择Cox回归;连续性结局一般选择线性回归;如果自变量特别多,如超过病例数的20%,可以选择用机器学习(支持向量机、随机森林、神经网络等)。一般情况下,在自变量不太多,样本量足够大(样本量大于自变量个数的20倍以上)时,非机器学习的方法准确性与机器学习相差不大。科研客栈(sci-inn.com)已经上线了预测建立和验证的模块,不用编程也可以轻松建立预测模型。(5)模型验证建立模型就是创造一个工具,不经验证的工具是不能确定是否有用的,因此建立预测模型一定要经过验证。
3.内部验证的方法都有什么?内部验证包括以下几种方法:(1)随机拆分,随机拆成两组,分别用作训练集和验证集;(2)交叉验证:拆分成两组或多组后,依次交替用作训练集和验证集;(3)重抽样:一般使用bootstrap从原样本中再重新抽取样本作为验证集;(4)多个中心分别交叉交替作为训练集和验证集;
4. 外部验证的方法都有什么?外部验证包括以下几种方法:(1)时间验证:按时间截断,在某时间点前的样本作为训练集,之后的作为验证集;(2)空间验证:多个中心,几个中心作为训练集,其它中心作为验证集;空间相隔越远,验证结果仍然较好,其说服力越大;(3)时空验证:前两种方法结合。
5.如何选择验证方法?如果有条件进行外部验证,其结果的说服力高于内部验证。在没有办法做外部验证时,内部验证优先选择交叉验证或重抽样验证。在外部验证中,空间验证优于时间验证,空间距离越大,验证的强度越高,但同时要结合模型建立的目的。有条件时可以采用多种验证相结合的方法。
6.建立模型的样本量需要多少?建立模型的样本量最准确的方法是进行模拟,即模拟出不同的样本量数据,如果增加样本量对于模型没有太大的影响,认为达到模型建立的样本量要求,但由于需要较多参数和计算量,很少研究能这么估算样本量。现行的做法一般要求样本量达到预测因子的20倍以上,如果是二分类结局或生存结局,同时要求出现随访结局的样本数达到预测因子的5倍以上。也可以依据同类研究的样本量,初步估算样本量。
7.验证模型的样本量需要多少?一般验证模型可以与训练模型的样本量相同,至少不少于训练集的20%,如果是二分类结局,出现随访结局(复发、死亡等)的人数最好在50例以上,否则可能校准曲线会不太好。
8.模型的评价指标有哪些?模型的评价指标与诊断试验的评价指标相似,包括灵敏度、特异度、准确率、ROC曲线下面积(C index)、校正曲线、决策分析曲线(DCA)等,其它指标包括MSE、RMSE、MAE等在临床预测模型中较少报告。AUC一般在0.75以上认为预测效能可以接受,在0.85以上预测效能较好,但如果高于0.9甚至更高,要小心是否出现过度拟合。
9.模型的报告规范和方法学质量评价有什么?预测模型的报告规范和方法学质量评价主要为TRIPOD,PROBAST,如果是诊断模型,也可以参考参考 STARDupdate , QUADAS-2。
10.模型的ROC曲线AUC较高,但校正曲线不好是怎么回事?模型的AUC可以评价一个预测模型的预测效能,其和校正曲线的结果一般是一致的。在做校正曲线时,一般要将预测概率转成是阴性和阳性,如果校正曲线的结果不太好但AUC较高,可能是预测概率转成阴性和阳性的界值(logistic回归中默认是0.5)不太合适,可以通过调整界值改善校正曲线。主要见于外部验证中,训练集和验证集的病情严重程度相差较大时。
来源:科研客栈 |
|