The Bridge:从临床数据到临床应用（预测模型总结）

The Bridge:从临床数据到临床应用（预测模型总结）

如果说把临床预测模型比作临床数据和临床应用之间的一座“桥梁”，那它应该包括这样几个环节：模型的构建和评价、模型的概率矫正、模型决策阈值的确定和模型的局部再评价。
模型的构建和评价是关注和讨论比较多的，但是后三个环节同样也很重要，缺少了某个环节可能导致预测模型不能够进行临床应用，但是它们受到的重视程度不高，许多人甚至并不知道。
近期把之前在临床预测模型学习构建过程中学习的经验制作了三个APP，分别是临床决策曲线分析的演示、保序回归的演示和ROC局部评价的演示，就是为了让大家能够快速地了解这三个环节在模型临床应用中的作用。

下面简单总结一下：

1.模型的构建和评价：采用某种机器学习的算法，比如逻辑回归，并采取合适的指标进行评价模型效能，常见的指标有C统计量和校准曲线；之前大家可能更加关注的是C统计量的大小，其实校准曲线同样重要，甚至更加重要。还有一点，建议使用交叉验证来获取预测概率，好处是能够充份利用数据，有助于后续决策阈值确定的环节。

2.保序回归校准预测概率：不平衡数据和树形模型的校准度往往不佳，却又常用，这种情况下需要使用概率校准。还有一种方法是使用叠加聚合模型（stack ensemble model），叠加逻辑回归模型和随机森林模型的话，可能不需要进行概率校准。
APP地址：https://liuyp2080.shinyapps.io/save_your_probability/

3.DCA分析确定决策阈值：在不同的使用环境中，决策阈值应该是不一样的。没有决策阈值，模型自然不能进行临床应用。DCA会给出一个决策阈值的范围，再结合临床情况确定具体的决策阈值。
APP地址： https://liuyp2080.shinyapps.io/DcaDemonstration/

4.局部再评价：既然DCA分析给出了模型使用的阈值范围，那么在阈值范围内的模型的效能才是直接与模型表现相关的，所以在阈值范围内进行局部再评价，有助于评价模型真正的效能。
APP地址： https://liuyp2080.shinyapps.io/partialROCcDemo/

以上环节都确定之后，构架的模型就可以进行临床应用了。有一种观点认为模型的区分能力（C统计量）足够大才能进行应用，其实并不完全，只要模型具有临床收益就可以用于临床，前提是通过DCA分析确定模型具有临床收益。